Pałac w Złotym Potoku został przebudowany w latach 50. XIX wieku, z inicjatywy nowego właściciela tego majątku – gen. Wincentego Krasińskiego. Powstał na miejscu zamku, a wcześniej dworu obronnego z wieżą, stojącego tutaj od końca XIII wieku. W 1857 roku w pałacu przebywał wieszcz Zygmunt Krasiński z rodziną. Ostateczną, neoklasycystyczną formę budynek uzyskał na początku XX wieku, po przebudowie dokonanej przez hrabiego Karola Raczyńskiego. Pałac otacza park krajobrazowy.
O Złotym Potoku (wówczas jeszcze tylko Potoku) wspominają źródła historyczne już w XII wieku. Osada, wzbogacona wkrótce o kościół, została założona w dolinie Wiercicy przez rycerski ród Jelitczyków, a później rozbudowana przez możny ród Szreniawitów. Od XV wieku, po wymarciu linii Szreniawitów – Potockich, miejscowość należała do różnych rodów szlacheckich, m.in. Silnickich, Korycińskich i Koniecpolskich. Pierwszy dwór obronny (zwany później zamkiem) w Potoku Złotym wzniesiono pod koniec XVI wieku. Wiemy, że w 1625 roku Jan Koryciński sprzedał go Stanisławowi Koniecpolskiemu, słynnemu hetmanowi wielkiemu koronnemu. Ten przekazał go swemu bratankowi, Janowi Koniecpolskiemu, który zapisał się w historii tych ziem założeniem miasta – Janowa. W XVIII i pierwszej połowie XIX wieku zamek przechodził z rąk do rąk, niszczejąc i podupadając na znaczeniu. W 1829 roku przejął go Stanisław Leski, który obok zrujnowanego budynku postawił drewniany dworek. Mieszkali w nim kolejni właściciele Złotego Potoku. Momentem przełomowym w dziejach miejscowości był zakup majątku w 1851 roku przez gen. Wincentego Krasińskiego. Na miejscu zamku wzniósł on rezydencję pałacową w stylu neoklasycystycznym. W 1857 roku przebywał w niej Zygmunt Krasiński z rodziną. Tragedia – niespodziewana śmierć czteroletniej córki, Elżbiety – spowodowała, że poeta na stałe wyjechał z Polski do Paryża i nigdy już nie wrócił do kraju. W 1877 roku w pałacu zamieszkała najstarsza córka Zygmunta Krasińskiego, Maria Beatrix. Wyszła ona za mąż za hrabiego Aleksandra Raczyńskiego. Małżeństwo doprowadziło pałac do stanu świetności. Ponowną renowację pałacu przeprowadził hr. Karol Raczyński na początku XX wieku. Pałac jest jednopiętrowy. Od frontu znajduje się pięcioosiowy ryzalit z trójkątnym szczytem – umieszczono na nim herb Raczyńskich. Narożniki są boniowane. Przed wejściem głównym stoi portyk z kolumnami, które podtrzymują balkon. Wejścia strzegą dwa kamienne lwy z kartuszami herbowymi Raczyńskich i Czetwertyńskich. Wnętrze było wielokrotnie przebudowywane. Nieliczne elementy wyposażenia prezentowane są w dworku obok. Dzieła sztuki i inne cenne przedmioty wywieźli Niemcy w 1945 roku, reszta została zniszczona - wraz z wkroczeniem Armii Czerwonej. Niegdyś z prawego skrzydła pałacu wyrastała neogotycka wieża, ale została rozebrana w przededniu II wojny światowej. Pałac otoczony jest przez rozległy park krajobrazowy.