Rybnica jest jedną z najstarszych osad w Kotlinie Jeleniogórskiej, której początki wiążą się z jeszcze starszą kasztelanią w Starej Kamienicy.
Z początkami wsi związane są legendy. Wg jednej założycielem wsi miał być Rybin, pomorski ks. Redanów, który zawędrował tu w XI wieku. Inna wersja głosiła, że pierwsze osiadły tu beginki, które założyły w Rybnicy swoje zgromadzenie. Potwierdzać miała to data 1234 wykuta na kamieniu w ścianie zrujnowanego zamku, którą odkryto w 1750 roku, ale zniszczono podczas remontu w 1750 r.
Zgromadzenie beginek uległo kasacie w 1365 lub 1369 r. Nie ma jednak żadnego dowodu ani śladu ich bytności w Rybnicy. Kolejna opowieść stwierdza, że istniał tu zamek cesarza Karola IV, który miał w nim bywać osobiście w 2 połowie XIV w.