W 1872 roku w Lipniku przy trakcie cesarskim prowadzącym do Żywca – obecnej ul. Żywieckiej, bialski sukiennik Teodor Zagórski wybudował własną fabrykę. Jej dynamiczny rozwój został zahamowany przez wielki kryzys gospodarczy, który rok później objął całą Austrię. Fabryka Zagórskiego upadła i w 1874 roku została zlicytowana.
Nowymi właścicielami zabudowań fabrycznych zostali Jakub Gross i Emanuel Kraus. Fabryka nie przynosiła jednak oczekiwanych zysków i w grudniu 1881 roku została sprzedana Emilowi Schirnowi. Schirn wykorzystując nową koniunkturę w przemyśle włókienniczym, na przestrzeni lat 1882-1884 zamienił ją w duży zakład. W latach dziewięćdziesiątych XIX wieku część pomieszczeń wynajął od Schirna, inny producent sukna Georg Stavro. W 1902 roku po bankructwie Schirna, fabrykę przejął Teodor Pollak przedsiębiorca, który specjalizował się w produkcji tureckich fezów. Jego nakrycia głowy eksportowane były do wielu krajów Bliskiego Wschodu. Roczna produkcja fabryki posiadającej powierzchnię 4000 m2 oraz maszynę parową o mocy 80 KM wynosiła około miliona czapek.
W styczniu 1910 roku kolejnym właścicielem fabryki został Samuel Tugendhat junior, który szybko zamienił ją w jeden z największych zakładów sukienniczych w Lipniku. Po jego śmierci w 1912 roku, zakład przejęli synowie Robert i Willi i prowadzili go do wybuchu II wojny światowej. Po wojnie w budynku znajdował się oddział „A” Zakładów Przemysłu Wełnianego im. Ludwika Gawlika „WEGA”. W latach sześćdziesiątych XX wieku nabudowano trzecie piętro fabryki.
Fabryka Zagórskiego, Grossa i Krausa, Schirna, Pollaka, rodziny Tugendhat – ul. Żywiecka 13