L'originaria casa risalente alla fine del 1500, passò alla famiglia Gorgoni con le nozze di Gorgonio Gorgoni e Irene di Pasquale Galluzzi che la ebbe in dote. Alla sua morte, Irene lasciò un figlio sordo - muto dalla nascita : Giuseppe Maria Gorgoni. Nel 1761 Gorgonio Gorgoni morì dopo aver eretto "il palzzo con giardino di agrumi" nella parte retrostante l'originaria abitazione della moglie Irene.
Nel 1806 l'anziana vedova di Giuseppe Maria Gorgoni (il muto) abitava ancora il palazzo che era stato in parte restaurato. Qui nacque e visse Giustiniano Gorgoni avvocato e patriota, autore del Vocabolario agronomico ... della provincia di Lecce. Il palazzo fu acquistato dall'amministrazione comunale nella metà del secolo scorso.
Il palazzo presenta un possente portale bugnato tipicamente del tardocinquecento, compreso l'andrione e l'ambiente voltato che danno accesso al cortile dal quale, un tempo, si giungeva al "giardino di agrumi" .