Questo palazzo originariamente di Pietro Mory fu ereditato nel 1745 dai due figli Pasquale Leonardo e Alfonso Mory . Tale divisione, non era individuabile dall'esterno ma solo internamente al palazzo. Qui vissero i due fratelli negli anni che seguirono.
Le seconde nozze di Alfonzo Mory con Elisabetta Ponzani non furono ben accolte dai figli di Alfonzo che per il disappunto si trasferirono nell'ala del palazzo dello zio paterno o in un altro quarto del palazzo . Nel 1816 muore Giorgio Mory e la proprietà passa alla figlia Lucrezia e in fine a Pompeo Mory.
Alla fine del 1844 per disavventure economiche di Pompeo Mory tale proprietà che nel frattempo era passata da varie mani, fu acquisita dall'architetto Antonio Guarigliera di Lecce in occasione di una vertenza che aveva visto il sequestro dell'immobile.