Het kasteel wordt gekocht door Henri de Brouckère rond 1843. Hij zal later de eerste burgemeester worden. De naam St-Annakasteel is waarschijnlijk in zijn periode ontstaan, doordat Henri de Brouckère in 1860 ook eigenaar werd van de nabij gelegen Sint-Annakapel (hij zal de kapel in 1885 aan een familielid schenken). Na zijn dood wordt Mw. A. Dujardin-Dansaert in 1897 de nieuwe eigenares van het kasteel tot omstreeks 1902, wanneer Charles Waucquez het overneemt. Waucquez was een succesrijke handelaar in textiel, hij huwde met Mej. Idiers, dochter van schepen E. Idiers. Hij was ook eigenaar van het gebouw dat nu het overbekende "Belgische centrum voor het beeldverhaal" huisvest, te Brussel.

Het Sint-Annakasteel had tot in 1910 vooraan langs weerszijden van de gevel, twee vierkantige vleugels met puntige daken. Dat jaar laat Waucquez het kasteel volledig afbreken en bouwt er een nieuw in klassieke stijl, op basis van plannen getekend door architect L. Sauvage. Hij laat evenwel het nieuw gebouw een tiental meter meer noordwaarts optrekken, opdat de ingang juist in de verlengde zou komen van de Wahalaan. De bouwplannen vermeldden toen alléén "Château de mr. Waucquez". Een benaming die trouwens in gebruik bleef bij de Oudergemnaren. Zijn eigendom strekte zich uit tot de Tervurensesteenweg en tussen de Hertoginnedallaan (Valduchesse)/Twee Kloosterdreef (Deux Moutiers) en de Dorpelingenstraat (Villageois). Een groot deel ervan werd na zijn dood verkaveld, waarbij de lanen L. Vercauteren en R. Hainaut ontstonden. Het huidige overblijvende deel is in 1959 eigendom geworden van de staat, terzelfdertijd is de oude benaming Sint-Annakasteel weer opgedoken.