Stadhouder Willem V (1748-1806) had de macht, maar was een besluiteloos man, en de ontevredenheid over hem groeide. Hij was stadhouder van 1751 tot 1795. Het was een onrustige tijd, er waren veel (gewelddadige) conflicten tussen prinsgezinden en patriotten. Veel patriotten vluchtten naar Frankrijk. In 1793 verklaarde de Franse Republiek de oorlog aan de stadhouder en in 1795 viel het Franse leger van Napoleon ons land aan. Stadhouder Willem V moest vluchten. Vanuit Scheveningen vertrok hij naar Engeland met de woorden "Ik ga, maar ik kom weder". Hij komt inderdaad wel terug, maar niet als stadhouder. In 1806, tijdens de Franse overheersing, overlijdt hij in Brunswijk.

In 1795 breekt de Franse tijd aan, en voor de prinsgezinde Carel Lodewijk betekent dat, dat hij niet meer kan dienen in de marine van de stadhouder. De Fransen zijn nu de baas over de marine, en omdat hij uit een geslacht van Hugenoten stamt, die ooit uit Frankrijk moesten vluchten vanwege hun religie, zal hij niet onder de Franse keizer hebben willen dienen. Hij moet kiezen tussen zijn principes/prinsgezindheid en zijn inkomen. Hij kiest voor zijn principes, is daardoor gedurende de Napoleontische tijd werkloos, maar trouwt in 1795 al wel met een barones. Ondanks dat hij geen werk had tijdens de Franse overheersing, heeft hij zich over geld waarschijnlijk niet al te veel zorgen hoeven maken.