Secondo la leggenda la città fu fondata dall'eroe dell’Iliade Diomede; certa è la presenza di insediamenti autoctoni  dauni risalenti al al Neolitico (6000-3000 a.C.), e nell'Età dei metalli. Nel III sec. a.C. Canosa divenne uno dei più importanti centri commerciali della Apulia. Alleata di Roma, ebbe un notevole sviluppo urbanistico grazie alla sua posizione lungo la via Traiana, vennero edificati l'acquedotto, un anfiteatro, terme e ricchi mausolei. Subisce nel IX secolo diversi saccheggi per mano dei Saraceni e rifiorisce nel periodo normanno e in quello svevo. Dall'età imperiale incomincia il definitivo declino, accelerato da numerosi terremoti e dai continui saccheggi.