Dal 1240 al 1434 fu di dominio ai da Varano di Camerino, successivamente passò ai Maurizi di Tolentino e quindi alla famiglia Pallotta, che è ancora l’attuale proprietaria.

Il Castello subì una modifica radicale verso la fine del ‘500, quando il Cardinale Evangelista Pallotta lo trasformò in una residenza estiva. Nel 1862 il conte Giuseppe abbellì la reggia, in particolare il giardino seguendo lo stile rinascimentale.
Nel 1885 il conte Desiderio fece dei lavori di restauro, in particolare il cassero, la torre nord, la mercatura guelfa, il ponte levatoio e i camini di ronda, tutt’ora presenti all’interno della struttura.
È presente, all’interno del castello, anche una sala carrozze, delle sellerie e delle armi; nelle stanze reali vi sono anche delle opere d’arte su tela, sculture, affreschi, arredi dell’epoca e le testimonianze dei personaggi illustri, che nel corso dei secoli hanno visitato Caldarola. Tra le visite più importanti occorre ricordare il Pontefice Clemente VIII, venuto al castello nel 1598, il Cardinale Casimirro nel 1644 e, infine, Cristina di Svezia, futura regina di Polonia, nel 1666.

Le biblioteche, un archivio recentemente riordinato e le numerose collezioni documentano le vicende della nobile famiglia nell’evolversi dei secoli.
Lo stemma della famiglia Pallotta non è altro che un flagello a palle snodate, la famosa arma, che Guglielmo Pallotta utilizzò nella battaglia del 1296, per difendere la fortezza dagli attacchi dei francesi. Molto importante è la cappellina arredata con arredi sacri dell’epoca.

Di notevole rilevanza è la presenza di un “trumeau” d’arte marchigiana del 1600, posto nella stanza da letto reale. Verso la metà del secolo scorso, il conte Giuseppe fece costruire, con gusto rinascimentale, un cortile dove sopra un muretto vi sono i busti di Dante, Petrarca, Tasso e Ariosto.

Infine, nella torre d’angolo, alla sinistra di Porta Camerte, vi sono due lapidi che riportano la bolla papale di Eugenio IV che vide passare il potere dalle mani dei Maurizi a Jacopo Pallotta, al tempo capitano e architetto militare discendente del noto condottiero Guglielmo da Messina.