Risalgono al 1036 le notizie di una fortificazione castellana detta “Mons Teuzi” dal nome del suo feudatario Teuzzo di Ildebrando dei Sassi signore dei Bulgari. Era una nuova fortezza posta in cima al colle che andava a sostituire il castello poco distante edificato dai Bulgari nell’VIII secolo.
Montozzi fu una roccaforte ambita da grandi Signori come i Guidi e gli Ubertini per la sua posizione strategicamente dominante sulla Val d’Arno di Sopra e sulla Val d’Ambra. Fu più volte distrutta e ricostruita nelle guerre tra Guelfi e Ghibellini, tese ad assoggettare il territorio conteso tra Firenze, Siena ed Arezzo.
A partire dal 1400 tutta la Val d’Arno di Sopra venne definitivamente sottomessa a Firenze. Montozzi perse la sua connotazione guerriera per trasformarsi poco per volta in un villaggio sereno al centro di un territorio agricolo, popoloso e attivo.
Tra le famiglie che all’inizio del 1500 decisero di investire in edifici e terreni appartenenti all’antico Castello di Montozzi figurano anche i Bartolini Baldelli da Terranuova. Essi negli anni ne divennero gli unici proprietari.