W 1792 Frysztat i zamek kupił hrabia Jan Larisch von Mönnich i całkowicie go przebudował w stylu empire. Dodał także nowe skrzydło (tzw. Lottyhaus) i w ten sposób powstał pałac miejski w kształcie litery „U”, tworzący jedną z pierzei rynku. W 1804 założyli za zamkiem rozległy park w stylu angielskim. Przy pobliskim kościele katolickim Podwyższenia św. Krzyża Larischowie wybudowali także rodowy grobowiec; oprócz niego w sąsiedztwie pałacu powstały pralnie i łaźnie, a przy niedalekim potoku domek letni w stylu szwajcarskim.
W II połowie XIX wieku rosła ranga rodu Larischów (jeden z nich, Jan, został m.in. austriackim ministrem finansów), którzy zaczęli poszukiwać większej siedziby. W 1873 wybudowali neorenesansowy pałac w Solcy i od tego czasu w pałacu we Frysztacie spełniał już tylko głównie funkcje gospodarcze, choć przez jakiś czas mieszkał też w nim Georg Larisch do 1896 mąż Marii Larisch, siostrzenicy cesarzowej Elżbiety).
Na początku XX wieku odwiedziło go jednak kilku znakomitych gości – m.in. arcyksiążę Franciszek Ferdynand, następca austriackiego tronu, cesarz niemiecki Wilhelm II oraz car bułgarski Ferdynand I Koburg. W tym czasie Larischowie byli jednymi z głównym właścicieli przemysłu wydobywczego (kopalnie węgla) w Księstwie Cieszyńskim[1].
Po utworzeniu Czechosłowacji pałac pozostał w ręku Larischów – ostatnim właścicielem był hrabia Jan, który się w nim urodził, ale przebywał rzadko, rezydując głównie w pałacu Solca. W 1945 pałac skonfiskowały władze i utworzyły w nim Miejską Radę Narodową, a także siedzibę jednej z kopalni, natomiast wyposażenie częściowo rozkradziono; to co ocalało porozmieszczano po różnych muzeach, bibliotekach i innych instytucjach. W latach 50. i 60. XX wieku kilkakrotnie przebudowano fragmenty wnętrz, nie przejmując się zachowaniem zgodności z potrzebami konserwatorskimi. Dopiero kiedy w 1990 obiekt wraz z parkiem stał się własnością miasta Karwina przeprowadzono gruntowną rekonstrukcję głównej części pałacu (m.in. odsłonięto cenne polichromie) i przywrócono mu wygląd z okresu rodu Larisch.
