Jackson è stato allevato in una rigida atmosfera religiosa. La famiglia di suo padre comprendeva diversi intrattenitori, ma fu costretta a limitare la propria attività musicale al canto nel coro della chiesa e all’ascolto-surrettiziamente-delle registrazioni di Bessie Smith e Ida Cox e di Enrico Caruso. Quando aveva 16 anni, andò a Chicago e si unì al Greater Salem Baptist Church choir, dove la sua notevole voce di contralto portò presto alla sua selezione come solista.,
Jackson arrivò per la prima volta all’attenzione del pubblico negli anni ‘ 30, quando partecipò a un tour gospel di fondo cantando canzoni come “He’s Got the Whole World in His Hands” e “I Can Put My Trust in Jesus. Nel 1934 la sua prima registrazione, “God Gonna Separate the Wheat from the Tares”, fu un successo, portando ad una serie di altre registrazioni. Il primo grande successo di Jackson, “Move on Up a Little Higher”, apparve nel 1945; era particolarmente importante per il suo uso del “vamp”, una frase ripetuta indefinitamente (o schema di accordi) che fornisce una base per l’improvvisazione solista., Tutte le canzoni con cui è stata identificata—tra cui “I Believe”, “Just over the Hill”, “When I Wake Up in Glory” e “Just a Little While to Stay Here”—erano canzoni gospel, con testi tratti da temi biblici e fortemente influenzati dalle armonie, dai ritmi e dalla forza emotiva del blues. Jackson si rifiutò di cantare canzoni religiose o addirittura di cantare in un ambiente che considerava inappropriato. Ma ha cantato alla radio e in televisione e, a partire dal 1950, si è esibita al pubblico overflow in concerti annuali alla Carnegie Hall di New York City., Otto dei dischi di Jackson hanno venduto più di un milione di copie ciascuno.
Jackson era enormemente popolare all’estero; la sua versione di “Silent Night”, ad esempio, è stata uno dei dischi più venduti di tutti i tempi in Danimarca. Fece una notevole apparizione al Newport (Rhode Island) Jazz Festival nel 1957—in un programma interamente dedicato, su sua richiesta, a canzoni gospel—e cantò all’inaugurazione del presidente John F. Kennedy nel gennaio 1961., Negli anni ’50 e ’60 è stata attiva nel movimento per i diritti civili; nel 1963 ha cantato il vecchio spirituale afroamericano “I Been’ Buked and I Been Scorned” per una folla di oltre 200.000 a Washington, DC, poco prima che il leader dei diritti civili Martin Luther King, Jr., pronunciasse il suo famoso discorso “I Have a Dream”.