A XIX. század legelején József nádor nyaralót építtetett a Margit-szigeten, főkertésze, Tost Károly pedig több évtizedes munkával gyönyörű parkot hozott létre. A ?legmagyarabb Habsburg? halála után is a családban maradt a birtok, majd 1866-ban József Károly főherceg, akit a pesti nép csak Palatinus Jóskának becézett, úgy gondolta, hogy apja örökségét a köz javára kell hasznosítania.