Il blocco edilizio originariamente di proprietà di Stefano Agricoli Arcivescovo di Nardò e poi di Otranto, passò poi ai signori Robertini e successivamente ai signori Lubelli per poi essere acquistato dai Congedo alla fine del XVIII secolo.
Con molta probabilità fu il ricco Giuseppe Congedo a disporre la ricostruzione del vecchio palazzo lasciando inalterata la facciata con il portale settecentesco e le finestre cinquecentesche.
Alla morte di Giuseppe Congedo tale proprietà passò agli eredi e il palazzo fu diviso in quote . Oggi questo palazzo è suddiviso in un gran numero di proprietà e si suppone che questa sia la causa dello stato di abbandono in cui versa lo stabile