Jackson togs upp i en strikt religiös atmosfär. Hennes fars familj inkluderade flera underhållare, men hon tvingades begränsa sina egna musikaliska aktiviteter till att sjunga i kyrkokören och lyssna—smygande—på inspelningar av Bessie Smith och Ida Cox samt av Enrico Caruso. När hon var 16 gick hon till Chicago och gick med i Greater Salem Baptist Church choir, där hennes anmärkningsvärda contralto röst snart ledde till hennes urval som solist.,
Jackson kom först till stor allmän uppmärksamhet på 1930-talet, när hon deltog i en gospelturné som sjöng sådana låtar som” He ’ s Got the Whole World in His Hands ”och” I Can Put My Trust in Jesus.”I 1934 hennes första inspelning,” God Gonna Separate the Wheat from the Tares, ” var en framgång, vilket ledde till en serie andra inspelningar. Jacksons första stora hit,” flytta upp lite högre, ”dök upp i 1945; det var särskilt viktigt för dess användning av” vamp”, en obestämd upprepad fras (eller ackord mönster) som ger en grund för solo improvisation., Alla låtar som hon identifierades med—inklusive ”Jag tror”, ”Just over the Hill”, ”When I Wake up in Glory” och ”Just a Little While to Stay Here” – var gospelsånger, med texter från bibliska teman och starkt influerade av harmonier, rytmer och emotionell kraft av blues. Jackson vägrade att sjunga några utom religiösa sånger eller faktiskt att sjunga alls i omgivningar som hon ansåg olämpliga. Men hon sjöng på radio och på TV och, med början 1950, framförde för att spilla publik i årliga konserter på Carnegie Hall i New York City., Åtta av Jacksons skivor sålde mer än en miljon exemplar vardera.
Jackson var enormt populär utomlands; hennes version av ”Silent Night”, till exempel, var en av de all-time bästsäljande skivorna i Danmark. Hon gjorde en anmärkningsvärd framträdande vid Newport (Rhode Island) Jazz Festival 1957—i ett program ägnas helt, på hennes begäran, gospel—och hon sjöng på invigningen av President John F. Kennedy i januari 1961., På 1950-talet och 60-talet var hon aktiv i medborgarrättsrörelsen; 1963 sjöng hon den gamla African American spiritual ”I Been’ Buked and I Been Scorned ”för en folkmassa på mer än 200,000 i Washington, DC, strax före medborgarrättsledaren Martin Luther King, Jr., levererade sitt berömda” I Have a Dream ” – tal.