Chrząstów, der heutige Stadtbezirk von Koniecpol und ehemalig eine selbständige Siedlung wurde bereits vor sehr langer Zeit, nämlich im Jahre 1136 erwähnt, als es das Besitztum des Erzbischofs von Gniezno (Gnesen) war. Später gehörten die hiesigen Güter zu der Familie Pobóg, die die Siedlung Chrząstów zu ihrem Sitz machten. Anfangs gab es am Fluss Pilica ein typisches mittelalterliches Schloss, dann (um die Wende des 15. und 16. Jahrhunderts).wurde eine Residenz an einem neuen Ort errichtet Die Residenz wurde in den nächsten Jahrhunderten mehrmals umgebaut.