La costruzione di questo palazzo è avvenuta alla fine del XVI secolo successivamente alla ricostruzione del circuito murario. Cinquecentesco è dunque l'impaginato simmetrico della facciata, come pure tipicamente cinqucentesca è la neutra superfice del piano di fondo della facciata.
La spumosa e quasi ondeggiante decorazione della parte superiore dell'edificio ricca di curce e controcurve sia nei timpani che nei balconi si manifesta con una ricchezza di decorazioni tale da far meritare a questa costruzione l'aggettivo popolare di "palazzo bomboniera".
Sicuramente settecentesca è quindi la ricostruzione nella versione attuale del piano superiore dell'edificio, che in esso mostra il tracimante rococò degli anni ' 70 e '80 del XVIII secolo. E' in quel periodo che il palazzo fu di proprietà della famiglia Scrimieri e quindi ad essi viene attribuita la radicale ristrutturazione. Fu nella seconda metà del secolo scorso che il palazzo passò alla famiglia Congedo.