Colletorto sorge sulle colline che circondano la valle del fiume Fortore.
All'estremità che si affaccia su questa valle era collocata la torre, ora quasi del tutto distrutta, tranne una torre, costruita nel 1369 dalla Regina Giovanna I d'Angiò, che vi lasciò la propria insegna scolpita sul marmo.