Джимми Эллис родился 24 февраля в Луисвилле. На любительском ринге дважды встречался с Мохаммедом Али (К.Клеем) и одну из встреч выиграл.

В 1968 году, после дисквалификации Али за отказ ехать во Вьетнам, ВБА решает провести турнир претендентов на звание чемпиона. В список вошли: Джерри Кворри, Флойд Паттерсон, Тед Спенсер, Леотис Мартин, Эрни Террел, Джимми Эллис, Оскар Бонавена и Карл Мильденбергер. Белый боксер Джорж Чувало и Джо Фрэзер полностью солидаризировались с Али. "Для нас Мохаммед Али был и остается чемпионом", - подчеркнули они в совместном заявлении, и были поспешно выведены из состава претендентов.

В турнире претендентов Кворри победил Паттерсона, Спенсер - Террела, Бонавена - Мильденбергера, Эллис - Мартина. В полуфинале Кворри нанес поражение Спенсеру, а Эллис - Бонавене. 27 апреля 1968 года новым чемпионом мира стал 28-летний Джимми Эллис, победивший в финале Джерри Кворри.

Однако два года спустя на чемпионский трон уверенно сел Джо Фрэзер, победивший Эллиса. В нью-йоркском "Мэдисоне" 18 тысяч зрителей заплатили за этот матч 645 тысяч долларов. Фаворитом был Фрэзер. Ставки на него принимали в пропорции 4:1 и даже 6:1. Перед матчем Фрэзер весил - 93 кг, а Эллис - 91 кг. В четвертом раунде Эллис после мощной серии Фрэзера в голову "отдыхал" до счета "восемь". Через 30 секунд левый боковой Фрэзера вновь бросает чемпиона на пол. И тренер Эллиса Анджело Данди отказался от продолжения поединка. Но во время отсчета ударил гонг, отказ секунданта от продолжения боя последовал позже. Поэтому в протоколах зафиксировано: "победил техническим нокаутом в пятом раунде Джо Фрэзер". Было это шестое поражение Эллиса в 37 поединках.

Джимми Эллис продолжал выступать ещё до 1975 года. Всего он провел 53 боя, 40 выиграл, 12 проиграл и 1 бой без решения.