O existenci nějakého panského sídla na zdejším území lze usuzovat ze zápisu z roku 1362, kdy se jako spolupatron kostela v Bílém Újezdě uvádí Jan Hroška řečený ze Skalky. Písemně se však žádná zmínka o tomto sídle nezachovala. Něco nám může napovídat jen zdejší vyvýšené místo s názvem Hrad.
V roce 1386 se uvádí Jaroš z Hrošky, který stvrdil svou pečetí listinu, jíž bratři Jan a Jaroslav z Meziříčí udělili Solnici plné právo hradecké: "...aby lidem v Dobrušce a Rychnově rovni mohli býti...". V roce 1388 zemřel v Podbřezí Ctiborko, který měl nějaké majetky v Hrošce a Trnově. Roku 1408 vystupuje Diviš z Hrošky ve sporu o desátky s farářem ve Vysokém Újezdě (pravděpodobně má být Bílém, nebo snad ve Veselém?). Diviš a Petr z Hrošky (v originále je uvedeno z Rozky) přivěsili roku 1415 pečeť ke stížnému listu do Kostnice. Roku 1422 se připomíná Tas z Hrošky. Tímto zápisem zmínky o hrošeckých majitelích končí a jelikož se od té doby nově zmiňují páni ze Skalky, lze předpokládat, že si tam zdejší páni vybudovali nové sídlo. Snad bylo důvodem plánované založení Ostrovského rybníka a tím potřeba umístit sídlo výhodněji.
Prvním takovým představitelem byl Jan ze Skalky, který se roku 1440 účastnil poradního sjezdu v Čáslavi, kdy zastupoval spolu Prokopem z Dohalic a Jetřichem z Miletína hradecký kraj.
V zápisu z roku 1487 se uvádějí jako svědkové "slovutní panoši Prokop ze Skalky a Tobiáš ze Skalky a na Ostrově". Tím se dozvídáme o změně majitelů na Skalce, snad synů výše uvedeného Jana, ale také o vzniku nového sídla na Ostrově, kam se uchýlil jeden z bratrů. Tímto sídlem byla vodní tvrz, písemně však doložená až roku 1542 jako vlastnictví Mikuláše Ostrovského. V těch dobách byla již Skalka ve vlastnictví jiného majitele a tak se tato tvrz stala hlavním centrem původních skaleckých pánů.
Mikulášův syn, Jiřík Ostrovský, prodal roku 1567 po znovuzískání Skalky ostrovský statek Matyáši Dobešovi z Olbramovic, čímž Ostrov včetně Hrošky připadl černíkovickému panství. Ostrovská tvrz byla po prodeji opuštěna a k roku 1572 se uvádí již jako pustá. Brzy poté zřejmě zanikla zcela.