W 1872 roku w Lipniku przy trakcie cesarskim prowadzącym do Żywca – obecnej ul. Żywieckiej, bialski sukiennik Teodor Zagórski wybudował własną fabrykę. Jej dynamiczny rozwój został zahamowany przez wielki kryzys gospodarczy, który rok później objął całą Austrię. Fabryka Zagórskiego upadła i w 1874 roku została zlicytowana.
fot. Współczesna zabudowa fabryczna w miejscu fabryki Zagórskiego w 2025 r.
Nowymi właścicielami zabudowań fabrycznych zostali Jakub Gross i Emanuel Kraus. Fabryka nie przynosiła jednak oczekiwanych zysków, dlatego w grudniu 1881 roku właściciele sprzedali ją Emilowi Schirnowi. Schirn wykorzystując nową koniunkturę w przemyśle włókienniczym, na przestrzeni lat 1882-1884 zamienił fabrykę w duży zakład. W latach dziewięćdziesiątych XIX wieku inny producent sukna Georg Stavro wynajął od Schirna część pomieszczeń. W 1902 roku po bankructwie Schirna, fabrykę przejął Theodor Pollak przedsiębiorca, który specjalizował się w produkcji tureckich fezów. Jego nakrycia głowy eksportowane były do wielu krajów Bliskiego Wschodu. Roczna produkcja fabryki posiadającej powierzchnię 4000 m2 oraz maszynę parową o mocy 80 KM wynosiła około miliona czapek.
fot. Zabudowania fabryczne od strony ulicy Cmentarnej w 2025 r.
W styczniu 1910 roku kolejnym właścicielem fabryki został Samuel Tugendhat junior, który szybko zamienił ją w jeden z największych zakładów sukienniczych w Lipniku. Po śmierci Samuela w 1912 roku, zakład przejęli jego synowie Robert i Willi i prowadzili go do wybuchu II wojny światowej. Po wojnie zakład przejęło państwo. W budynku otwarto oddział „A” Zakładów Przemysłu Wełnianego im. Ludwika Gawlika „WEGA”. W latach sześćdziesiątych XX wieku nabudowano trzecie piętro fabryki.