L’abitato antico di Contignano è formato dal Castello e da un Borgo esterno alle mura. Il Castello mantiene ancora l’impianto medievale con due porte di accesso, l’antico Cassero, accanto al Torrione, e l’altra lungo le mura a nord, detta Porticciola. Le mura perimetrali sono state in gran parte inglobate dalle abitazioni. 

L’interno dell’antico castello presenta due vie principali e diversi vicoli, una suggestiva piazza con un pozzo e un palazzo nobiliare quattrocentesco appartenuto alla famiglia Bandinelli, sul quale svetta la Torre del Cassero. In fondo ad una delle vie principali del Castello  si trova la Chiesa di S. Maria Assunta. 

Fuori dalle mura del Castello, troviamo un piccolo Borgo con la Cappella di S. Rocco e l’edificio signorile della Commenda, istituita nella seconda metà del 1500 da Fausto Bellanti ed appartenuta per suo volere all’Ordine cavalleresco di S. Stefano.