Jackson wurde in einer strengen religiösen Atmosphäre erzogen. Die Familie ihres Vaters umfasste mehrere Entertainer, aber sie war gezwungen, ihre eigenen musikalischen Aktivitäten auf das Singen im Kirchenchor und das heimliche Hören von Aufnahmen von Bessie Smith und Ida Cox sowie von Enrico Caruso zu beschränken. Als sie 16 war, ging sie nach Chicago und trat dem Greater Salem Baptist Church Choir bei, wo ihre bemerkenswerte Altstimme bald zu ihrer Auswahl als Solistin führte.,
Jackson wurde erstmals in den 1930er Jahren öffentlich bekannt, als sie an einer Cross-Country-Gospel-Tour teilnahm und Lieder wie „He‘ s Got the Whole World in His Hands“ und „I Can Put My Trust in Jesus“ sang. Ihre erste Aufnahme, „God Gonna Separate the Wheat from the Tares“, war 1934 ein Erfolg und führte zu einer Reihe weiterer Aufnahmen. Jacksons erster großer Hit, „Move on Up a Little Higher“, erschien 1945; Es war besonders wichtig für die Verwendung des“ Vamp“, einer unendlich wiederholten Phrase (oder Akkordmuster), die eine Grundlage für die Solo-Improvisation bietet., Alle Songs, mit denen sie identifiziert wurde—einschließlich „I Believe“, „Just over the Hill“, „When I Wake Up in Glory“ und „Just a Little While to Stay Here“—waren Gospellieder mit Texten biblischer Themen und stark beeinflusst von den Harmonien, Rhythmen und emotionaler Kraft des Blues. Jackson weigerte sich, nur religiöse Lieder zu singen oder überhaupt in einer Umgebung zu singen, die sie für unangemessen hielt. Aber sie sang im Radio und im Fernsehen und trat ab 1950 bei jährlichen Konzerten in der Carnegie Hall in New York City vor großem Publikum auf., Acht von Jacksons Platten verkauften sich jeweils mehr als eine Million Mal.
Jackson war im Ausland enorm beliebt; ihre Version von „Silent Night“ zum Beispiel war eine der meistverkauften Platten aller Zeiten in Dänemark. Sie trat 1957 auf dem Newport Jazz Festival (Rhode Island) auf—in einem Programm, das auf ihren Wunsch ganz Gospelliedern gewidmet war—und sang bei der Einweihung von Präsident John F. Kennedy im Januar 1961., In den 1950er und 60er Jahren war sie in der Bürgerrechtsbewegung aktiv; 1963 sang sie das alte afroamerikanische Spiritual „I Been‘ Buked and I Been Scorned „für eine Menge von mehr als 200.000 Menschen in Washington, DC, kurz bevor der Bürgerrechtsführer Martin Luther King Jr.seine berühmte Rede“ Ich habe einen Traum “ hielt.