Ya desde que era adolescente empezó a tocar el saxofón en bandas de R&B. Enseguida se unió a la banda del cantante Pee Wee Crayton y se trasladó con ellos a Los Ángeles, donde su estilo suelto y crudo comenzó a atraer la atención de todos. En 1958 grabó su primer disco en solitario, Something Else!!!: La música de Ornette Coleman, que le ofreció tocar con músicos con ideas afines como Don Cherry y Billy Higgins.

Después grabaría algunos álbumes hitos del jazz libre; tanto Tomorrow Is The Question! y The Shape of Jazz to Come, que salieron en 1959, como el álbum de improvisación Free Jazz, publicado en 1960. En ellos, Coleman creó un estilo que coqueteó con estructuras melódicas y blues mientras despegaba hacia otras formas no tan estructuradas.

A lo largo de los años 60, su música avanzó aún más hacia la vanguardia, a veces pasando del saxofón al piano. Su música sonaba caótica para muchos, aunque Coleman en realidad lo que hacía era llevar las teorías armónicas que sustentan su música hacia otra forma de sofisticación.

En los años 70 y 80 jugó un poco con el rock y el funk, incluso colaboró con los Grateful Dead de Jerry García en algunas canciones. Con el tiempo se ganó el estatus de leyenda, incluso particimando en Saturday Night Live en 1979. Continuó actuando hasta el año pasado.