Historie zámku se začala psát v roce 1578, kdy chrasteckou rychtu odkoupil Albrecht Slavata z Chlumu a na jejím místě postavil panský dům. Další stavební úpravy proběhly za Markéty Berkové v roce 1605, která nechala k panskému domu přistavět severní křídlo. Chrastecké panství několikrát změnilo majitelé ze šlechtických rodů Trčků a Švamberků, od kterých v roce 1656 odkoupil kardinál Arnošt Harrach pro potřeby nově vznikajícího biskupství královehradeckého. Od roku 1664 zámek sloužil jako stálé sídlo královehradeckého biskupa a od roku 1719, kdy byla dostavěna biskupská rezidence v Hradci Králové, sloužila Chrast jako letní sídlo. První stavební úpravy podnítil biskup Václav František Karel, svobodný pán z Košínů. Nechal postavit východní křídlo s kaplí sv. Jana Nepomuckého, nad vjezd umístil erb svého rodu a do štítu tři sochy – víry, lásky a naděje. Tento biskup stál také za zřízením zámecké zahrady. Současnou podobu získal zámek přestavbou za biskupa Jana Josefa hraběte Vratislava z Mitrovic, který k zámku připojil jižní křídlo s tzv. Hraběcími pokoji a zbylá křídla byla upravena v duchu barokního stylu. Na architektonickou podobu zámku měl nesporný vliv významný barokní architekt Jan Blažej Santini, jemuž je v Chrasti přisuzován kostel svatého Martina a částečně kostel Nejsvětější Trojice. Biskup Josef Doubrava oslovil roku 1903 zahradního architekta Františka Thomayera na projekt renovace zámecké zahrady, která si tvář z počátku 20. století udržuje dodnes.
Areál bývalého biskupského zámku si můžete prohlédnou v Městském muzeu Chrast, které sídlí v severním, východním a jižním křídle zámku. Kromě původních interiéru tzv. Hraběcích pokojů a kaple sv. Jana Nepomuckého můžete navštívit stálou expozici věnující se historii Chrasti z několika úhlů pohledu. V západním křídle zámku se nachází dvě místnosti s dochovanými malbami Antonína Machka – čínský pokoj a římský sál. Návštěvu těchto místností Vám může městské muzeum zajistit po předchozí domluvě. Zámecká zahrada je veřejnosti přístupná celoročně.
