L’epoca etrusca vide l’espansione della città da San Clemente a San Lorentino, fino alla Porta Nuova (Sant’Andrea), per poi fondersi, con mura ciclopiche, in epoca romana (alte 14 metri e larghe 4,5 metri) a quelle di epoca medievale. Dal VII al X secolo, la popolazione della città si ridusse a sole 3.000 unità. Se consideriamo che Tito Livio scriveva che in epoca augustea, e fino al I secolo, la popolazione era di 100.000 abitanti, includendo anche il contado limitrofo, possiamo capire quanto la città si fosse ridimensionata. Dopo le invasioni degli Ostrogoti e dei Longobardi, le mura si ridussero, limitandosi a coprire la zona da Santa Croce fino a Borgunto e San Domenico. Per ben tre volte, la popolazione si ribellò al potere vescovile, nel XI secolo, contro le richieste fiscali che il vescovo esercitava come una sorta di signore feudale dal suo Castello e Chiesa del Pionta, anch’essi in una zona fortificata.
È dal 1200 che si osserva una rinascita economica e politica di Arezzo. È la piccola borghesia dei commercianti, dei lanifici e dei bambagisti, dei trasporti e dei rapporti commerciali con Rimini, Ravenna per il sale e il Montefeltro a prevalere, portando la parte ghibellina al potere, a discapito dei guelfi. Le mura si espandono fino a tutta via Garibaldi, e il Corso diventa il borgo maestro, con la recente e nuova Pieve. Sorgono torri e palazzi, e lo stesso vescovo, inizialmente guelfo, si sposta in città e guida la città in battaglie vittoriose, come Guglielmino degli Ubertini, fino alla sfortunata battaglia di Campaldino, segnata dalla mancata alleanza con i Guidi e i cavalieri dell’alto Casentino. La cinta muraria allargata resiste all’assedio senese del 1288. Con la famiglia Tarlati, in particolare Guido e Pietro Tarlati, le mura vengono ricostruite ancora più sicure e alte, tanto da resistere a due mesi di assalti perugini nel 1335.
Si arriva infine a Cosimo I de’ Medici, che realizza quattro bastioni e mura per cingere una città-prigione, dominata da una fortezza che controlla la città sottostante. Per costruirla, vennero abbattute circa 16 torri, inclusa la “torre rossa” del Comune, per ottenere una visuale più ampia. I Sangallo, a cui fu affidato il progetto della fortezza, erano tra i più celebri architetti nella costruzione di carceri e fortezze di controllo, come a Sansepolcro, Civita Castellana e le trasformazioni del Castel Sant’Angelo a Roma.