Cohen è nato a Tel Aviv, in Israele. È cresciuto in una famiglia di musicisti con i suoi fratelli sassofonisti: la sorella Anat Cohen e il fratello Yuval Cohen (sassofono soprano).
All’età di otto anni Avishai chiese a sua madre se poteva cominciare a prendere lezioni di tromba. All’età di dieci anni, Avishai cominciò a suonare con la Rimon Big Band. Ricorda di quel periodo: “Avevo una cassa su cui stavo in piedi”. Da adolescente Avishai fece una tournée con l’Orchestra filarmonica d’Israele.
Avishai frequentò il Berklee College of Music a Boston. Dopo essersi diplomato a Berklee, passò a vincere il 3º posto nella competizione per tromba jazz di Thelonious Monk nel 1997. Cohen si trasferì poi New York dove cominciò a sviluppare la sua musica a fianco di Jason Lindner e del bassista Omer Avital allo Smalls Jazz Club.
Registrò il suo primo album nel 2003 con la Anzic Records. Il titolo dell’album The Trumpet Player (“Il suonatore di tromba”) fu scelto per evitare confusione con l’omonimo bassista jazz israeliano Avishai Cohen. Da allora ha registrato con molti celebri artisti jazz come leader del gruppo, co-leader, e compositore[senza fonte]. Ha suonato con parecchi gruppi jazz, che includono musicisti dell’SFJAZZ Collective. Avishai ha dichiarato di essere stato fortemente influenzato da Miles Davis
