L'établissement de l'église Saint-Bavon en tant que salle de prière paroissiale remonte au Xe siècle après J.-C., lorsque l'empereur allemand Otto II restitua la propriété qui avait été confisquée à la demande des moines de l'abbaye Saint-Bavon de Gand. D'où le patronage de Saint-Bavon.
Des fouilles récentes ont montré qu'une église à trois nefs avec un chœur et une tour ouest existait déjà au 9e-10e siècle. Cette structure en maçonnerie s'élevait probablement au-dessus d'une petite église en bois qui servait de lieu de culte à l'origine.
Des écrits montrent que vers 1430, il existait déjà un bâtiment en pierre et en maçonnerie avec des voûtes gothiques. Pendant les guerres de religion, un siècle plus tard, l'église fut gravement endommagée par un incendie criminel et fut reconstruite vers 1640. L'autorisation d'ajouter deux nefs au transept, obtenue vers 1841, a permis d'agrandir l'église. Le style gothique (tardif) a toujours été respecté et préservé.
A l'intérieur, outre la chaire en bois sculpté, on peut admirer une série de vitraux installés dans le chœur principal en 1864-1865. Ils représentent la vie de plusieurs saints. Trois d'entre eux représentent un ancien curé (1821-1824) de la paroisse Saint-Bavon, à savoir le futur cardinal et archevêque Mgr Engelbertus Sterckx.
Les trois autels : le maître-autel, l'autel de Notre-Dame et l'autel de saint Joseph, construits respectivement en marbre, en bois et en métal, contribuent à ce que l'ensemble de l'église soit classé patrimoine culturel en 1996.