All’interno troviamo la pinacoteca comunale, il gioiello della Stanza del Paradiso e un piano nobile solitamente adibito a mostre, data la perfetta conservazione degli affreschi e la recente ristrutturazione.

Nel suo impianto architettonico è disegnata la piazza antistante, probabilmente concepita con progetto unitario per essere chiusa su tre lati da edifici porticati, come fa pensare l’affresco che si trova nella Sala del Consiglio (detta Salone dei Cardinali Pallotta).
L’importanza storica del palazzo sta anche nella sua architettura rigorosamente aderente ai principi della Controriforma. Concepito e realizzato in tempi brevi e in modo estremamente unitario, ha subìto nel tempo pochissime aggiunte e trasformazioni, per cui può essere considerato un chiaro esempio di uno degli sviluppi manieristici dell’architettura del Rinascimento.
L’intera vicenda edilizia del palazzo e tutto il suo valore storico sono imperniati intorno ai due personaggi caldarolesi: il Cardinale Evangelista Pallotta e il pittore Simone de Magistris.

Gli affreschi del piano nobile e i soffitti a cassettoni costituiscono un complesso di grande rilievo non solo per la loro mole, ma anche per la qualità delle pitture. All’interno troviamo la “Stanza del Paradiso”, cosi denominata per le scene raffigurate dagli affreschi, dedicate all’arte venatoria (“paradisòs” in greco indica appunto il giardino, il luogo di caccia). Questa stanza è un piccolo gioiello incastonato all’interno del palazzo comunale, quasi nascosto e remoto, luogo di meditazione del Cardinale, là dove la realtà si sublima nella favola attraverso un paesaggio altamente lirico, che rappresenta una flora e una fauna esotiche e scene di caccia animate da cavalli impennati, levrieri, cacciatori…
Gli storici caldarolesi l’attribuiscono a Simone de Magistris. Nonostante i fitti richiami ad altre sue opere e la riconosciuta capacità di trasferire la realtà nel mondo lirico della favola, i critici pensano che l’opera sia in realtà da attribuire a Domenico Malpiedi e ad Antonio Tempesta.