Sul punto più elevato dell'altura sorse il castello, che doveva essere sin dalla sua origine una semplice struttura fortificata, un castello rurale costruito con lo scopo di controllare e dominare un territorio prevalentemente agricolo. Nessuna notizia relativa al castello di Ceglie appare nei documenti medievali, nel Codice Diplomatico barese non si fa alcun cenno all’edificio, a differenza di altre fortificazioni limitrofe, come il castello di Carbonara, a nord di Ceglie, o di Binetto, citati in documenti tra il XII e XIV secolo come castra. Evidentemente Ceglie risultava più come casale che come castrum. La parte più importante dell’edificio è la torre quadra, alta circa 35 metri, di probabile fondazione normanna, come altre simili disseminate nel territorio barese, a Bisceglie, a Rutigliano e a Toritto. Le fondamenta della torre poggia su una fabbrica preesistente, ascrivibile all’età romana per la presenza di una struttura in opus reticulatum, riferibili all’antico municipium di Caelia. Evidentemente il castello di Ceglie rientrava in quel sistema castellare territoriale che si avviò in età normanna e che prenderà aspetti più incisivi nel secolo successivo, in età federiciana, e poi nella prima età angioina. Di epoca angioina è la torre cilindrica con mura a scarpa sulla quale si aprono ariosi archi. La struttura del castello venne modificata dalla famiglia degli Arcamone tra il XV e il XVI secolo. Tra il 1346 e il 1350 Marcello Arcamone ottenne dalla duchessa Giovanna di Durazzo la concessione in suffeudo di Ceglie e di Bitetto, che la famiglia manterrà fino al 1600. All’interno del recinto erano ubicati il frantoio e il cosiddetto “Trappeto del Principe”. Gli ambienti residenziali racchiudevano pareti affrescate, di cui rimangono labili frammenti, ed un giardino pensile. Il castello in epoca medievale doveva apparire come una struttura fortificata dotata di almeno tre torri, sul fronte nord, est e sud, delle quali è sopravvissuta soltanto una, le altre sono state alterate e inglobate in edifici successivi. Attualmente l’edificio si articola in una pianta quadrangolare: sul lato nord svetta la torre normanna, ad est una struttura più bassa, simile alla torre, anch’essa quadrangolare, che domina l’accesso alle dimore baronali. A sud sulle strutture fortificate sono stati costruiti edifici di età moderna che hanno inglobato parte della struttura originaria. Il castello si presenta, dunque, come un insieme di diversi stili e ampliamenti che si sono stratificati nel corso dei secoli