A közintézmény kálváriája 2003 tavaszán kezdődött, miután a baróti erdő-közbirtokosságnak visszaszolgáltatták a könyvtárnak is székhelyet biztosító volt épületét. Tevékenységét folytathatta, ám az addig használt három terem közül kettőből ki kellett költöznie, ezért a megmaradt kisteremben csak a legtöbbet kölcsönzött kötetek maradhattak, a többi a városi művelődési ház raktárteremmé átalakított mozitermébe került. A most felavatott ingatlant az önkormányzat egy éve árverésen vásárolta meg, az azóta eltelt időszakban pedig a felújítási munkálatokat végezték el. Avatási beszédében Nagy István polgármester reményét fejezte ki, hogy az önkormányzat fáradozása nem volt hiábavaló, s ha pénzben nem is kifejezhető, de használóin keresztül megtérül a befektetés.