Cole nacque da Edward e Paulina Cole, e crebbe con i fratelli Eddie, Ike e Nat King Cole. Iniziò a suonare il pianoforte all’età di sei anni, nella città natale, proseguendo poi gli studi musicali presso la Juilliard School of Music a New York.
Dopo il discreto successo di Whispering Grass nel 1953, seconda canzone da lui incisa, Cole trascorse diversi mesi in tour con Johnny Coles e Benny Golson. Collaborò poi con Grover Washington Jr. e registrò jingles per varie aziende, tra cui Turner Classic Movies.
Cole fu particolarmente in auge nella seconda metà degli anni 70 e per tutti gli anni 90. Una delle sue più fortunate canzoni, I Loved You, fu anche inserita nella colonna sonora della telenovela brasiliana Dancin’ Days.
Nel 2006 gli venne dedicato il documentario The Cole Knows Nobody. L’anno dopo entrò nella Georgia Music Hall of Fame.
Nel luglio 2009 Cole pubblicò una registrazione con il proprio quartetto (formato da Cole, Randy Napoleon, Curtis Boyd ed Elias Bailey), insieme al sassofonista Jerry Weldon e al pianista John DiMartino, suonando dal vivo al club jazz Dizzy nel Lincoln Center.
Il suo album del 2010, Freddy Cole Sings Mr. B, nominato per il Grammy nella categoria Miglior Album Jazz Vocal, [2] è dedicato a colui che Cole ha sempre considerato il proprio maestro, Billy Eckstine, soprannominato appunto “Mr.B”.
Cole è morto nel giugno del 2020, a 88 anni, per problemi cardiovascolari.
