Obwohl Püspökszentlászló in einer im 13. Jh. entstandenen Urkunde erwähnt wird, wurde das Dorf in der Osmanenzeit vollkommen entvölkert. Es wurde erst im 18. Jh. wieder besiedelt, und die Minoriten von Pécs erhoben in ihm 1775 eine kleine Kapelle. Anstelle dieser Kapelle ließ Graf Pál László Esterházy, Bischof von Pécs 1797 eine Sommerresidenz errichten. Da Kaiser und König Josef II. hat den Paulinerorden aufgelöst, kann vermutet werden, dass der Bischof, der früher selbst Pauliner gewesen war, eigentlich ein getarntes Kloster errichtet hat: das belegt auch die Innenausgestaltung des Gebäudes. Im Obergeschoss wurden nämlich zellenähnliche Zimmer errichtet. Die Pauliner bezogen jedoch das Gebäude nicht, es stand etwa hundert Jahre lang leer. 1898 wurde es von Bischof Sámuel Hetyey von Pécs erneuert, der auch das Arboretum um das Gebäude herum angelegen ließ. Die Renovierungsarbeiten wurden nach manchen Jahren von Graf Gyula Zichy, Bischof von Pécs beendet, indem das Schloss mit der anbei aufgebauten Kirche zusammengebaut wurde. Damals wurde der bis heute dienende Angster-Orgel in der Kirche angebracht.
Nach dem 2. Weltkrieg wurde das Gebäude von den Ursuliten bewohnt, die in der Dorfschule unterrichteten, nach Auflösung der monastischen Orden diente es als Sozialheim für Ordensschwestern. Im Spätsommer 1955 wurde Kardinal József Mindszenty für eine Weile hier in Hausarrest gehalten.
