Palazzo del Principe: il giardino. La storia