Der Afroamerikaner Jones wurde als das jüngste von Kindern einer Musikerfamilie geboren. Zugang zur Jazz -Musik bekam er durch seine Brüder Thad einem bereits 1986 verstorbenen Komponisten und dem renommierten Pianisten Hank Jones.
Seine Karriere begann Jones im Jahre 1955 in Detroit . Nach einer Absage auf eine Bewerbung Benny Goodman - Orchester in New York blieb er der treu und spielte unter anderem mit Jazz-Größen Bud Powell Miles Davis Sonny Rollins Donald Byrd Charlie Mingus Charlie Parker . 1960 wurde Jones schließlich von John Coltrane für sein weltbekanntes Quartett engagiert dem er bis 1965 angehörte. Während dieser Zeit war er an der Entstehung einiger der wohl berühmtesten beteiligt allen voran John Coltrane - A Love Supreme .
Jones arbeitete danach mit Duke Ellington zusammen und leitete dann seine eigene die Anfang der 1990er unter dem Namen Elvin Jones Jazz Machine bekannt wurde.
Elvin Jones – der für sein wildes und körperbetontes dabei aber rhythmisch sehr Spiel das sich vor allem durch wohlgesetzte auszeichnete – bekannt war starb 76jährig nach schwerer Krankheit an einem Herzschlag .