Lorsque Napoléon, en 1810, décide d'amménager ce jardin, il sort d'un long abandon. Couvert de brousaille et regorgeant de serpents, il est confié à l'architecte Hurbault. Aidé de spécialistes anglais, il l'aménage dans la tradition des jardins anglais du XVIIIème siècle. Auparavant plusieurs jardins s'étaient succédés à son emplacement dont le jardin des Pins de François 1er. Aujourd'hui, on peut y admirer des platanes, des séquoias, des tulipiers, ou des cyprès chauves dont les plus anciens ont été plantés sous le second Empire.