Het gebouw dat nu de Kunstenbibliotheek herbergt, werd in de 17de eeuw opgetrokken als het huis van de abdis. Het huis was eigenlijk een gastenverblijf van de voormalige cisterciënzerinnenabdij, die hier in de 14de eeuw opgericht werd. De zusters van de abdij werkten in het hospitaal naast de abdij. Van het gebouw dat je hier vandaag ziet, was de kern ooit deel van de oude Bijlokeabdij. In de 19de eeuw werd het voormalige huis van de abdis onderdeel van de Materniteit en de vroedkundige school aan de Bijlokekaai. Deze vleugel werd in de 19de en 20ste eeuw grondig verbouwd en uitgebreid met de tuingalerij, waardoor de cisterciënzerzusters van eeuwen geleden hun gebouw vandaag niet meer zouden herkennen.