Cléry-le-Petit war seinerzeit eine befestigte Gemeinde. Von der Festung aus dem Mittelalter steht nur noch ein Turm, heute der Glockenturm der Kirche. Dieser mit einem Satteldach überbaute Turm diente während der Kriege im XVI. und XVII. Jhdt. als Unterschlupf.
Die Kirche Cléry-le-Petit hat nur ein einziges Kirchenschiff. Der Chorraum stammt aus dem XII. Jhdt., ein Relikt der alten herrschaftlichen Kapelle. Eine Statue aus Stein aus dem XV. Jhdt. stellt den Heiligen Vinzenz dar, den Patron des Gebäudes. Heute ist sie weiß gestrichen, aber die ursprünglich polychrome Färbung ist noch zu sehen. Seit 1991 gehört sie zu den historischen Monumenten. Auch eines der Kirchenfenster zeigt den Heiligen Vinzenz mit seinem Attribut, den Weintrauben. Die Gegend war früher ein Weingebiet, daher seine starke Präsenz.
In den 1950er Jahren wurden Arbeiten ausgeführt, um die Schäden des Zweiten Weltkriegs zu beheben. 1951 erhält die Kirche einen Kreuzweg mit 14 Stationen aus polychromem Ton und dann, 1954, moderne Kirchenfenster aus der Glaserwerkstatt Gross in Nancy.
Außerhalb des Gebäudes hat man einen außergewöhnlichen Blick auf die Festung Dun-sur-Meuse und die historische Kirche, Mitglied des Netzwerks "Offene Kirchen".