I Pannocchieschi furon una grande e importante famiglia in Maremma, che, approfittando del momento di decadenza dei monaci di Sestinga, si impadronì di Caldana e non si preoccupò delle accuse dei monaci né della scomunica del vescovo di Roselle. I monaci, vedendo la totale indifferenza dei Pannocchieschi, ricorsero anche al papa Giovanni XX, senza risultati.
Intorno al 1328 Caldana faceva parte della zona d'influenza di Massa e il 15 aprile dello stesso anno i signori di Caldana, i nobili Giovanni, Naldo di Petruccio e Cione di Carlo, posero sotto il controllo di Massa il territorio di Caldana. Vendettero alla città, inoltre, la metà del castello e delle terre dei vassalli. Insieme al castellodi Caldana si sottoposero a Massa anche i castelli di Gavorrano e di Pietra.
I senesi scoprirono a Massa un piano segreto che avrebbe dovuto portare all'abbattimento della supremazia di Siena nella zona. La sommossa, che sarebbe dovuta esplodere nel dicembre 1330, fu prevenuta, grazie anche ad alcune lettere intercettate dal Podestà di Massa. Sicché la rivolta fu bloccata, appunto, a Caldana, a Massa, a Colonna e a Pietra. Ebbe luogo, invece, a Gavorrano e a Perolla, dove Feo Bicciardelli di Caldana e Comuccio di Rinuccio entrarono in armi scacciando gli Ufficiali di Massa.
Nel 1366 Ricciardello di Tancredi donò alla figlia Bice un quarto del castello. Il passaggio di Caldana nella proprietà senese si verificò appunto con il matrimonio tra una donna della famiglia dei Pannocchieschi, Bice, con un nobile senese: Francesco Di Nanni Malavolti.
Il 17 febbraio 1337 (per altri, il 7 febbraio 1338) Ciarlo di Minuccio de' Nobili consegnò a Siena tutto il resto del castello. Siena decise alcune condizioni che Caldana doveva rispettare: una di queste era che Caldana dovesse prestare 15 armati, qualora Siena ne avesse avuto bisogno. Il fatto che il numero degli armati era, per Caldana, così alto, mentre le altre città sotto il controllo di Siena ne dovevano prestare meno (Colonna, ad esempio, ne doveva dare solo 6), testimonia quanto Caldana fosse importante a quei tempi.
I Salimbeni, famiglia molto importante in lotta con i Governanti senesi, s'impadronirono di Caldana. La riappacificazione avvenne il 29 aprile 1357, quando quasi sicuramente si verificò anche la restituzione del castello di Caldana.
Proprio dopo questo periodo ne seguì un altro molto buio per Caldana che, dopo essere stata distrutta, passò nelle mani dello Spedale di S. Maria della Scala in Siena.
Pietro di Antonio da Mariano da Scarlino, nel 1433, comprò il territorio all'asta dallo Spedale di Siena. La prova che Caldana fu ricostruita da questi nuovi padroni si trova in un documento, in cui sono nominati i castelli che eran costretti a pagare a Siena i dazi e i contributi ripartiti fra le terre del contado.
Caldana fu nuovamente distrutta da Iacopino Piccinino durante la guerra tra le Compagnie di Ventura, più precisamente nel 1455.
Il castello passò poi nelle mani di Antonio da Pietrino Bellanti. Quest'uomo, nel 1468, aveva comprato la terza parte della fortezza, quella data per distrutta, e nel 1470-1471 Magio e Giovanni, zii di Mariano di Michele d'Antonio, che aveva venduto una parte del castello ad Antonio da Pietrino, vedettero allo stesso Bellanti le rimanenti porzioni. Nel 1483 la fortezza fu distrutta, dopo che il Bellanti fu fatto decapitare dal popolo.
Nel 1483 Caldana fu affidata a Messer Cristofano di Guidaccio, ma poco dopo i discendenti di Antonio Bellanti tornarono padroni dei loro possedimenti. Questi non si curarono mai di ricostruire il castello e il 19 agosto 1558 lo vendettero a Marcello Austini.