Costruito tra il 1212 e il 1305, è il primo palazzo pubblico che si insedia nella piazza del Comune, a ridosso del tempio.
Nella sua facciata sono murati le misure per la seta, il lino e la lana, ma anche le sagome dei mattoni e delle tegole per l‘edilizia. Nel primo riquadro del ciclo di S. Francesco nella chiesa superiore si nota che la
Torre del Popolo manca ancora della sua parte terminale, finita solamente nel 1305.
Un restauro del 1927 ha piuttosto sfalsato l‘aspetto originario del palazzo.
Sotto ad un portico sul lato corto della piazza, accanto all‘imbocco di Via Portica, si trova un affresco di notevole qualità di un allievo di Simone Martini,
Madonna del Popolo.