Het klooster is het grootste gebouw van het dorp. In 1854 heeft een telg uit de familie Camerman de bouw mogelijk gemaakt. Al gauw werd het een meisjespensionaat. Merkwaardige geschiedenissen hebben zich hier afgespeeld. Vandaag is dit monument van ‘kinderzorg’ helaas een ‘zorgenkind’ geworden.
De bouw van het klooster door de congregatie van Sint-Vincentius-a-Paulo begon op 13 juli 1854 en werd betaald door Maria Catharina Isabella Camerman, een telg uit een beroemde lokale familie van notabelen. Na enkele maanden konden de Zusters Franciscanessen van de Orde van Crombeen uit Gent intrekken in het klooster. Zij richtten er een meisjespensionaat in en verpleegden de zieken van de Quarantainedienst op de Schelde.
Op 25 februari 1892 werd het klooster uitgebreid met een weeshuis onder de naam ‘St. Cornelius-gesticht’. Op 23 januari 1893 werd de kloosterkapel ingeze- gend. In de kloosterkapel zijn aan beide zijden drie glasramen verwerkt, rechts met de drie kloostergeloften ‘Obedientia’(gehoorzaamheid), ‘Paupertas’ (armoede) en ‘Castitas’ (maagdelijkheid) en links met de goddelijke deugden ‘Fides’ (geloof), ‘Spes’ (hoop) en ‘Caritas’ (liefdadigheid). In april van hetzelfde jaar 1893 werd een nieuwe school voor meisjes ingezegend en op 20 september 1893 werd gestart met een Corsettenwerkschool. Naast kinderen uit de ruime regio zaten ook heel wat schip- perskinderen in het internaat.
Begin 1866 brak er cholera uit op het Breemse barkschip ‘Agnes’ en de slachtoffers werden naar het fort Liefkenshoek gebracht. Doeltreffende medicatie was in die tijd nog niet voorhanden. Men gaf de raad om de zieke te verwarmen met wollen dekens, heet zand en kruiken met warm water. De apothekers verkochten ’Elixer tegen Cholera’. De lichamen van de overleden choleraslachtoffers werden begraven in de schorren om besmetting van het Doelse kerkhof te vermijden. Een zekere Jan Devos was hiervoor aangesteld en deed zijn morbide werk na het drinken van een liter jenever ter ontsmetting. Er wordt verteld dat hij de vingers van de lijken afbeet om de ringen te bemachtigen. Ondanks zijn risicovol beroep bereikte Jan Devos een hoge leeftijd.
Tijdens de Tweede Wereldoorlog vonden verschillende Joodse kinderen een schuilplaats in het klooster. Het klooster staat als dusdanig vermeld in het archief van de Dossinkazerne. Holocaustoverlevende Flora M. Singer beschrijft in het boek ‘I was but a child’, vertaald onder de titel ‘Op de vlucht’, hoe ze was ondergedoken in het klooster. In de zomer van 2014 brachten Sandra en Melanie Landsman, dochter en kleindochter van Flora M. Singer vanuit de USA een bezoek aan het klooster van Doel.
Het aantal zusters in het klooster ging in de tweede helft van de 20ste eeuw achteruit en in 1976 vertrokken de drie laatste zusters naar het moederhuis te Gent. De orde schonk de gebouwen aan de kerkfabriek van Doel en de gemeente Beveren nam de gebouwen in erfpacht. Het gemeentebestuur voerde de nodige renovatiewerken uit, zodat het kloostergebouw kon dienst doen als ontmoetingscentrum, als gemeentelijke openbare bibliotheek en als gemeentelijke kleuter- en basisschool. Tot 2014 vonden er nog tal van socioculturele activiteiten plaats. In 2014 besliste de gemeente Beveren om het gebouw niet meer ter beschikking te stellen. Sinds het gebouw verlaten werd viel het ten prooi aan vandalisme. In de nacht van 1 op 2 september 2016 werd het in brand gestoken door onbekenden.
