Klasztor ufundował w 1613 chorąży Wielkiego Księstwa Litewskiego i starosty żmudzkiego Andrzeja Wołłowicza. Budowa obiektów mieszkalnych dla zakonników oraz kościoła pod wezwaniem Najświętszej Maryi Panny trwała od 1614 do 1639 pod kierownictwem Tomasza Kaspera przybyłego z Wilna. Kościół klasztorny jest trójnawową bazyliką krytą wysokim dachem, z półkolistym prezbiterium. Wygląd świątyni uległ poważnej zmianie w latach 1759–1783, gdy dobudowano do niej dwie trójkondygnacyjne wieże zwieńczone barokowymi hełmami, ze szczytem wolutowymłączącymi obydwie konstrukcje. Ponadto w latach 1771-1773 do kościoła dobudowano także kruchtę. Nawy świątyni kryją sklepienia krzyżowe, zaś prezbiterium - sklepienie gwiaździste.
Wystrój klasztoru jest barokowy. We wnętrzu kościoła przetrwał zespół utrzymanych w tym stylu ołtarzy, prospekt organowy z 1789 i ambona. W ołtarzu i na ścianach świątyni znalazły się obrazy autorów włoskich (cykl wizerunków świętych pędzla Rosseliniego) oraz portrety fundatorów klasztoru oraz innych przedstawicieli miejscowej szlachty. W ołtarzu głównym umieszczono postać Matki Bożej z Dzieciątkiem.
W klasztorze w Cytowianach został pochowany jego fundator, na nagrobku którego zachowała się figura rycerza, co czyni go jednym z oryginalniejszych pomników nagrobnych na Litwie[1]. Inni członkowie rodziny Wołłowiczów byli chowani w podziemiach kościoła. Wśród innych grobów zachowanych w klasztorze znajduje się nagrobek Krzysztofa i Andrzeja Kotowskich, księżny Anny Druckiej-Horskiej, marszałka Michała Steckiewicza oraz Antoniego Burby.
Z kościołem Najświętszej Maryi Panny łączy się dwukondygnacyjny budynek mieszkalny z celami zakonników, tworzący zamknięty czworobok z dziedzińcem. Na pierwszej kondygnacji klasztoru zachowała się dekoracja malarska. Drugi, większy dziedziniec znajdował się przed wejściem do kościoła klasztornego. W latach 1772-1779 otoczono go galerią arkadową, w której następnie ustawiono stacje Drogi Krzyżowej, zaś w 1824 na jej sklepieniach pojawiły się freski M. Sobolewskiego. W centralnym miejscu dziedzińca w 1775 zbudowano kaplicę Męki Pańskiej, wzniesioną na planie prostokąta, z bogato zdobionym frontonem i czworoboczną wieżyczką. Na piętrze wieży znajdował się ołtarz kaplicy, do którego prowadzą Święte Schody.
Klasztor bernardynów działał do 1864, gdy został zamknięty przez władze rosyjskie. Kościół klasztorny działał nadal jako parafialny.
W 1923 kościół był remontowany po zniszczeniach, jakie poniósł w czasie I wojny światowej. Kolejne prace konserwatorskie miały miejsce między rokiem 1970 a 1973.
