Anders dan sommige geschiedschrijvers willen laten geloven was de ‘piramide van Austerlitz’ niet gemaakt als tijdverdrijf door verveelde Franse soldaten en zeker niet als eerbetoon aan keizer Napoleon ter ere van de veldslag bij Austerlitz.
Het was het legerkamp van de Franse soldaten onder de rook van de stad Utrecht dat die naam droeg en waar die kunstmatige heuvel naar vernoemd werd. De Engelse invasie op het eiland Walcheren in 1809 maakte een eind aan alle havenplannen, de soldaten moesten hun spaden verruilen voor geweren om de Engelsen een voet dwars te zetten.
Het was een oud plan uit de 15e eeuw dat de bedoeling had om door middel van een te graven ‘Eemse Vaart’ Utrecht met de Zuiderzee te verbinden. Een ambitieus plan voor de aanleg van een Utrechtse zeehavenproject waaraan koning Lodewijk zijn medewerking verleende. In 1670 had de Utrechtse ‘Dolle Jonker’ Everard Meyster met de gedachte rondgelopen om dat oude plan te realiseren en lanceerde hij daaroverheen ook nog eens een plan voor een enorme stadsuitbreiding. Om de geplande nieuwbouw goed in de gaten te kunnen houden had hij aan de westelijke rand van het uitbreidingsgebied het landgoed ‘Oog in Al’ laten aanleggen, om alles goed in het oog te kunnen houden.
De aanleg van een Utrechtse zeehaven zou de absolute machtspositie van de Amsterdamse haven ondergraven en Utrecht tot een nieuwe handelshoofdstad kunnen maken. Toen een select groepje investeerders in het najaar van 1808 het geactualiseerde ‘Dolle Jonker’ plan aan koning Lodewijk voorlegden, was hij daarvoor dan ook direct te vinden. De in Nederland gelegerde – voor de telkens uitgestelde invasie in Engeland bedoelde – Franse troepen werden voor het zeehavenproject ingezet. In maart 1809 zou met de werkzaamheden worden begonnen, net even buiten de stadswallen en tussen Splinterburg en Baarn. Ook hier zou apotheker Hendrick Keetell aantekeningen van bijhouden en in zijn dagboek was te lezen dat buiten het Wittevrouwenbolwerk de keizerlijke huzaren ‘met schoppen, spaden en cruywaeghens’ begonnen waren om het havenbekken uit te graven. De uitgegraven losse zandgrond werd daarop met proviandwagens naar legerkamp Austerlitz gereden en vormde daar een ca. 20 meter hoge heuvel die later de naam ‘piramide van Austerlitz’ zou meekrijgen.