Il castello, nella sua forma attuale, copre un’estensione di 6150 metri quadri. Il castello appare murato su tre lati con il corpo principale che costituisce il quarto lato, a sud-ovest, e una torre posta all’interno tra due cortili. Il mastio del castello Episcopio venne eretto alla fine del secolo XIV per volere di Giacomo d’Atri, che fu arcivescovo di Taranto dal 1354 al 1381, al quale si deve anche l’innalzamento della cinta muraria e la costruzione nel 1327 della chiesa Madre, dedicata a Santa Maria Annunziata. Al 1388 risale la torre maestra che ancora domina il cortile dell’attuale edificio, ha pianta rettangolare e fu probabilmente edificata su di una struttura preesistente. La prima struttura del castello doveva essere costituita dalle mura, dalla torre maestra interna, dal fabbricato principale destinato a dimora dell'arcivescovo, articolato su due piani con parziale terzo livello nell’ala sud-est, e da due torri di cortina rispettivamente a sud-est e sud-ovest