Kostel Panny Marie je nejstarší stojící stavbou v našem městě. Původně byl zasvěcen sv. Bartoloměji, a přejmenován byl po výstavbě nového kostela na náměstí v polovině 18. století. Až do té doby byl farním kostelem, kolem něhož se rozkládal starý hřbitov. Vznik tohoto nevelkého kostela se datuje před polovinu 13. století. Původně se jednalo o jednoduchou obdélníkovou loď krytou plochým dřevěným stropem. Na ní navazoval presbytář s apsidou, kterou osvětlovala románská oka, která jsou v torzu zachována a vystupují z omítky.
Kostel byl v průběhu let stavebně upravován jednak v gotice a později zejména v baroku, což je patrné především v interiéru. Před rokem 1740 byl kostel ve velmi špatném stavu, občané se o něj nestarali, poněvadž stavěli nový kostel ve městě. Tehdy před úplnou zkázou kostelík zachránil farář Thoma, jenž vlastním nákladem zajistil nutnou opravu. Podruhé byla jeho existence ohrožena za josefínských reforem, kdy jako přebytečný měl být zrušen. Naštěstí k tomu nedošlo a ve Veselí zůstaly tři kostely. Při mimořádných církevních událostech se v našem městě mohlo vyzvánět společně všemi zvony ze tří kostelů. Když roku 1836 zemřel švýcar Karel Prillinger, zvonilo se zvony po dvě hodiny na všech třech kostelech.
Kolem kostela Panny Marie se nacházel hřbitov. Mimo jiných je na tomto hřbitově pohřben také generálporučík Alexander von Essen, který velel v bitvě u Slavkova ruské jízdě a který utrpěl těžké zranění hlavy, kterému podlehl dne 9. 12.1805 v domě č. 23 na veselském náměstí.
Roku 1834 byl zřízen v blízkostí cesty do Kozojidek hřbitov nový a starý hřbitov u kostelíka byl přeměněn na sad. Na snímku Ing. Řezáče z roku 1913 vidíme oplocení, které v této části hlavní předměstské silnice měřilo 54 metrů
Kostel Panny Marie se ztrácí ve vegetaci na snímku Josefa Tašla z 19.5.1931.
Na leteckém záběru pořízeném po roce 1921 vidíme vegetaci kolem kostela P. Marie na místě starého hřbitova. Hřbitov od Saidovy zahrady dělila kamenná zeď. Podobná zeď oddělovala hřbitov z východní strany. Část této východní zdi se dochovala dodnes.
Důležitým okamžikem pro kostel P. Marie byl rok 1938. Vše začalo vypracováním projektu pro silniční podjezd k Blatnici vedený pod železniční tratí. Na tento podjezd navazovala křižovatka na Blatnici, která byla navržena v bezprostřední blízkosti kostela P. Marie, na místě zrušeného starého hřbitova. Bylo třeba odstranit ohradu kolem starého hřbitova, přemístit tzv. „Krämerův“ kříž, zrušit Saidův dům č. 134.
Budování nové křižovatky na Blatnici bylo pro Veselí velkou událostí, na níž reagoval také mistr Ehrenhaft tímto obrazem. Vidíme, že část ohrady je již odstraněna. Vpravo kousek Saidového domku, který byl také zbourán
Od roku 1828 stojí před kostelem Panny Marie kamenný kříž. 110 let stál po levé straně vchodové bránky, kterou se vcházelo ke starému kostelíku. Roku 1938 byl v důsledku zřízení nové křižovatky přestěhován o několik metrů blíže ke kostelíku
Když kostel Panny Marie sloužil jako pohřební kaple, každý pohřeb prošel kolem Krämerova kříže