L'Accademia Valdarnese del Poggio fondata nel 1805 a Figline Valdarno, nel 1821 venne trasferita a Montevarchi nei locali dell'ex convento francescano di San Lodovico, sua attuale sede.
Immediatamente l'attività del Sodalizio si sviluppò attorno ai due nuclei principali del Museo Paleontologico, uno dei più antichi d'Italia, e della Biblioteca.
Nel 1813, la prima raccolta di volumi fu incrementata da una quantità di libri provenienti dai conventi del Vivaio dell'Incisa e dal convento di Vallombrosa, soppressi in seguito alla legge del Regno del 1866, e confluirono nella Biblioteca dell'Accademia i libri dei Cappuccini di Montevarchi. Un ulteriore consistente incremento, circa 8000 volumi, avvenne nel 1873, con il dono, per lascito testamentario, del conte Filippo de' Bardi. Intorno agli anni '80 è stato istituito un Fondo Toscano che raccoglie materiale sulla cultura e la storia toscana, con particolare attenzione per le vicende del Valdarno Superiore, e che rappresenta la parte in crescita della Biblioteca Poggiana, il cui nucleo originario conta di oltre 20000 volumi, numerose cinquecentine e migliaia di miscellanee.
