Les deux bâtiments situés de part et d’autre de la rue du Carrouge, aux n° 16 et 19, correspondent aux vestiges d’une des anciennes portes de l’enceinte du XVIème siècle. Si le pavillon du côté sud-ouest de la rue a été largement remanié aux XIXème et XXème siècles, le pavillon nord-ouest, qui semble avoir conservé une bonne partie de ses maçonneries d’origine, constitue une trace précieuse de cette ancienne porte.
Une étude archéologique du bâti a été réalisée par le Service Archéologique de la Ville d’Autun sous la direction d’A. Belot dans le cadre de travaux de réhabilitation de ces bâtiments. Cette étude s’est concentrée sur le pavillon nord-ouest, qui était le plus impacté par les travaux, mais qui semble également avoir conservé une part importante de ses maçonneries d’origine.
Cette porte faisait partie d’une vaste enceinte construite dans la seconde moitié du XVIème siècle et au début du XVIIème siècle afin de relier les fortifications du quartier Marchaux à l’enceinte romaine, et ainsi fortifier un espace qui s’était urbanisé à la fin du Moyen Âge entre Marchaux et la ville haute. Plusieurs vestiges de cette enceinte sont encore visibles dans la ville actuelle, mais la porte du Carrouge est la seule ouverture dans cette fortification à avoir conservé des vestiges en élévation. Selon H. de Fontenay, la porte du Carrouge a probablement été construite en même temps que le bastion Saint-Andoche voisin, dont la mise en place est datée par les sources d’archives de l’année 1584.
Grâce à des plans du XVIIIème siècle et à des photographies et dessins du XIXème siècle, on connaît les dispositions de cette porte, qui comportait une vaste arche en plein-cintre, surmontée par un chemin de ronde comportant des machicoulis, et qui était donc flanquée par deux pavillons rectangulaires. À l’origine, ces pavillons comporteraient chacun six canonnières, trois au rez-de-chaussée et trois à l’étage.
L’arche de la porte et le chemin de ronde qui la surmontait ne sont plus visibles aujourd’hui et ont été détruits au XIXème siècle. Dès 1841, les habitants de ce quartier demandent à la municipalité l’autorisation de démolir la porte afin d’élargir la rue. Malgré l’opposition de la Société Eduenne, la ville autorise finalement la destruction de l’arche de la porte en 1865. A l’occasion de cette démolition le pavillon sud-ouest est amputé d’une partie de sa façade sur rue qui est reconstruite avec un retrait d’environ deux mètres.
On peut encore observer sur la façade du pavillon nord-est les traces de l’ancienne arche et du chemin de ronde, ainsi que plusieurs ouvertures de tir, qui était destinées à l’usage d’arquebuses. Les parties hautes de ce pavillon pourraient avoir été fortement remaniées lors de travaux de la fin du XVIIIème siècle, bien documentés par les sources d’archives. C’est lors de cette phase de travaux que ce pavillon adopte cette forme de toiture à quatre pans. L’ancien pont-levis de la porte semble avoir été supprimé lors de ce chantier, et les fossés sont comblés. La ville met également en vente les deux pavillons qui flanquaient la porte, afin de financer ces travaux.
Dans la première moitié du XXème siècle, une fenêtre rectangulaire vient percer la façade nord-ouest de ce pavillon au premier étage, à la place d’une des anciennes canonnières, que l’on peut voir sur les photographies anciennes.