Il collegio fu aperto nel 1628 accanto a una chiesa antica, consacrata nel 1138 e dedicata a Santo Stefano. Era san Giuseppe Calasanzio in persona che pose la prima pietra del collegio.

Ci volle molta abilità per dirigere la scuola di Poli. Le entrate della casa coprivano a malapena le spese della comunità, che comunemente andavano da sei a otto religiosi e un famulus.
Nel 1723 il collegio fu visitato da Papa Innocenzo XIII che lodò l’insegnamento scolopio e il lavoro pastorale dei religiosi a Poli. Nel 1736 San Leonardo da Porto Maurizio predicò una missione a Poli e installò la Via Crucis nel collegio.
Durante l’invasione napoleonica, gli scolopi furono espulsi, ma un sacerdote rimase a Poli ad insegnare ai bambini nel palazzo ducale, pagato dal comune. Nell’ottobre 1818 le Scuole Pie furono riaperte, e la proprietà usurpata fu restituita ai religiosi.
Dopo il 1870, il comune mantenne gli scolopi nelle sue scuole, e chiese loro anche di aprirne un’altra per preparare gli studi superiori. Nel 1896 c’erano cinque sacerdoti che insegnavano e 112 studenti. Per un momento l’ordine pensò di chiudere la scuola, ma il comune lo incoraggiò a proseguire, anche se il numero di religiosi fu ridotto a due. Tuttavia, il numero di studenti crebbe negli anni seguenti, raggiungendo i 250 nel 1909.
Nel 1980 tutte le attività scolastiche cessarono nella casa. Attualmente accoglie gruppi per esercizi spirituali, riunioni, ecc. I religiosi si occupano della chiesa assai frequentata e di un centro giovanile. Poli mantiene ancora vivo il ricordo di San Giuseppe Calasanzio che gli ha donato questa opera educativa importante.