Edificio imponente, frutto di ampliamenti e ristrutturazioni, incorpora l'antico castello normanno del XII secolo. Il castello, che era circondato da solide mura e da profondi fossati, ha seguito le evoluzioni relative alle varie dominazioni successesi in Puglia. Il rifacimento solenne e pretenzioso fu voluto dai nobili De Mari che, dalla fine del '600 furono signori di Acquaviva.

L'elegante facciata, con severo trattamento a bugnato nel piano terra, presenta nel coronamento una singolare decorazione scultorea a grandi mascheroni grotteschi di gusto barocco. All'interno, l'impianto quadrangolare della fortezza medievale si articola in oltre trecento vani, di segrete inaccessibili e di terrazze immense. Da ammirare la scalinata d'onore e alcuni ampi saloni, oggi adibiti a sale conferenze, sala consiliare e ad uffici comunali.

Le torri del fronte est sono ridotte a livello della tettoia del palazzo; quella a sud-ovest è sopraelevata con una specie di altana in tufo.
Sul lato sud, in un locale a pianterreno, cui si accede per una stretta scalinata dalla volta a botte ogivale, sono ancora presenti i resti di un antico ingresso fortificato, testimonianza delle funzioni anche difensive un tempo attribuite al palazzo.

Nel cortile centrale, una bifora a sesto acuto, di epoca presumibilmente normanno-sveva, testimonierebbe l'esistenza di un ingresso diverso da quello aperto oltre le due gradinate di fondo.