Szoprán hangját a clevelandi születésű Scott egy genetikai betegségnek, a Kallmann-szindrómának köszönhette, amely megakadályozta, hogy átessen a pubertáson és férfiassá mélyüljön a hangja.

Első sikereit az 1940-es évek végén aratta, több éven át Lionel Hampton zenekarával lépett fel. Az 1960-as években hosszú időre visszavonult az énekléstől és szállodákban, kórházakban töltött be képzettséget nem igénylő állásokat. Az időközben ötször nősült Scott az 1980-as években tért vissza a színpadra, több albumot is kiadott, és ünnepelt előadóként turnézott szerte a világban.

Grammy-díjra is jelölt 1992-es All the Way című albumából az Egyesült Államokban még 50 ezer példányt sem adtak el, Európában és Ázsiában, különösképpen Japánban azonban már-már kultikus népszerűséget hozott neki. Az "énekesek énekeseként" is emlegetett Scott képességeit olyan énekesek tartották nagyra, mint Lou Reed, Quincy Jones vagy Madonna. Madonna egyszer azt mondta, hogy Scott az egyetlen énekes, aki képes megríkatni.

Jimmy Scott azt mondta, szokatlanul magas, gyermeki hangját csak 30-as éveiben volt képes elfogadni, amikor megtanulta adományként értékelni, hogy különleges hangon énekelhet. A feleségére hivatkozó hétvégi amerikai sajtójelentések szerint a gyermekhangú dzsesszénekes Las Vegas-i otthonában, álmában halt meg csütörtökön.