Il palazzo fu tra i primi edifici ad essere costruito nel settore nord-ovest della città murata alla fine del XV secolo ed aveva un piccolo "giardino delle delizie" ed un più ampio orto coltivato. Fu Raffaello Sanzio, secondo quanto testimoniato dal Vasari, a riprogettare l'edificio probabilmente nel 1514 per il Vescovo Giannozzo Pandolfini. Il giardino ed il palazzo vennero arricchiti con statue, fontane con giochi d'acqua, doni del Papa Leone X, oltre ad una grande quantità di fiori e piante tanto da avere in città una sua singolare notorietà come centro di cultura ai tempi di Ferrante (1550 ca.), Filippo (1600 ca.), Roberto (1750 ca.) ed altri membri della famiglia. Alla fine del 1700 il così detto "ramo del Palazzo" della famiglia Pandolfini si sarebbe estinto se Eleonora, figlia di Agnolo, non avesse adottato il nipote Alessio. Fu lei a costruire una serra per custodire in inverno le collezioni di piante ornamentali. Con lei il Palazzo tornò ad ospitare artisti e letterati come nel rinascimento. Dal 1870 al 1885 ca. fu Alessio a procedere alla ristrutturazione del palazzo, a questo restauro ne sono seguiti altri due nel 1954/56 e nel 1994/96 per opera di Filippo Pandolfini padre degli attuali proprietari Roberto e Niccolò. Il giardino trasformato da Eleonora in "giardino romantico all'Inglese" tornò a grande splendore grazie alla moglie del Conte Alessio, Sofronia Stibbert, che divenne anche un'esperta giardiniera. Sono famose le sue collezioni di camelie e cinerarie di cui alcune rarità botaniche furono premiate alla fine dell'800 dalla Società Botanica dell'Orticultura Il figlio Roberto per la moglie Beatrice Corsini costruì una serra per le orchidee sopra al giardino d'inverno, che fu l'ultima modifica apportata alla splendida residenza dei Pandolfini.