In questo palazzo nacque il filosofo e medico Ottavio Scalfo senior nel 1539. Egli possedeva una ricchissima biblioteca che fu lasciata in testamento ai Cappuccini di Galatina, e che successivamente, dopo la soppressione sabaudia dei monasteri, passò alla Biblioteca Civica di Galatina e ne costituisce il principale fondo.
Il palazzo si estende dal robusto portale sormontato dall'arma di famiglia sino alla settecentesca Cappella della Purità. Su questo prospetto si scorge la caratteristica colonna angolare quasi a tutto tondo.
Agli Scalfo rimase tale proprietà sino al 1753 quando Ottavio Scalfo junior confermò una precedente donazione e confermò che lì si realizzasse una scuola di grammatica e umanità, di filosofia, e teologia, nominando come erede delle proprie sostanze le Scuole Pie.