Niewielki obronny dwór starostów lipnickich zwany też zamkiem w Białej, został wzniesiony około 1598 roku, na polecenie starosty lipnickiego Piotra Komorowskiego, w miejscu tzw. dolnego folwarku lipnickiego. Budynek był rezydencją starostów i jednocześnie pełnił funkcje strażnicy granicznej, strzegącej granicę na rzece Białej, pomiędzy Rzeczpospolitą a monarchią Habsburgów oraz okolicznych mieszkańców przed napadami beskidzkich zbójników. W pierwszej połowie XIX wieku zamek stał się własnością arcyksięcia Albrechta Habsburga, właściciela dóbr w Żywcu i przedostatniego księcia cieszyńskiego, który zlecił jego przebudowę na pałac. W 1885 roku książę Habsburg najpierw wydzierżawił, a następnie podarował pałac siostrom ze zgromadzenia Córek Bożej Miłości, które założyły w nim klasztor św. Hildegardy. W ten sposób powstała pierwsza placówka tego zakonu na ziemiach polskich. W 1896 roku dokonano przebudowy pałacu, nadbudowano jedno piętro, a od strony południowej dobudowano kaplicę. Zmiany zaprojektował Emanuel Rost junior. Na nowo powstałym piętrze siostry otworzyły zakład naukowo-wychowawczy dla dziewcząt, który w 1906 roku przekształciły w gimnazjum z seminarium nauczycielskim. W 1909 roku od strony dzisiejszej ulicy Broniewskiego, wybudowano trzypiętrowy gmach, mieszczący szkołę prowadzoną przez zakonnice, w której kształciło się około 200 dziewcząt. O budynku klasztoru krążyła też legenda, że był on kiedyś pałacem arystokraty, który miał córkę. W dzień przed jej zamążpójściem, w czasie kiedy skręcała papiloty we włosach, od świecy wybuch pożar, który zajął pałac. Niedoszła panna młoda zmarła w wyniku doznanych obrażeń. Po tych wydarzeniach zasmucony właściciel pałacu zmienił go w klasztor i nazwał imieniem św. Hildegardy. Po II wojnie światowej budynek znacjonalizowano i otworzono w nim liceum ogólnokształcące im. Adama Asnyka. W 2001 roku nieruchomość wróciła do prawowitych właścicieli.
Dwór obronny starostów lipnickich, klasztor św. Hildegardy – ul. Żywiecka 20