Jackson a été élevé dans une atmosphère religieuse stricte. La famille de son père comprenait plusieurs artistes, mais elle a été forcée de se limiter à chanter dans la chorale de l’Église et à écouter—subrepticement—des enregistrements de Bessie Smith et Ida Cox ainsi que D’Enrico Caruso. À L’âge de 16 ans, elle se rend à Chicago et rejoint le Greater Salem Baptist Church choir, où sa remarquable voix de contralto l’amène bientôt à être choisie comme soliste.,
Jackson a d’abord attiré l’attention du public dans les années 1930, lorsqu’elle a participé à une tournée de gospel à travers le pays en chantant des chansons telles que « He’s Got the Whole World in His Hands” et « I Can Put My Trust in Jesus.” En 1934, son premier enregistrement, « Dieu Va Séparer le bon grain de l’Ivraie,” a été un succès, conduisant à une série d’autres enregistrements. Le premier grand succès de Jackson,” Move on Up a Little Higher », est apparu en 1945; il était particulièrement important pour son utilisation de la” vamp », une phrase indéfiniment répétée (ou motif d’accords) qui fournit une base pour l’improvisation solo., Toutes les chansons avec lesquelles elle a été identifiée—y compris « I Believe”, « Just over the Hill”, « When I Wake Up in Glory” et « Just a Little While to Stay Here”—étaient des chansons gospel, avec des textes tirés de thèmes bibliques et fortement influencés par les harmonies, les rythmes et la force émotionnelle du blues. Jackson a refusé de chanter des chants religieux ou même de chanter du tout dans un environnement qu’elle jugeait inapproprié. Mais elle chante à la radio et à la télévision et, à partir de 1950, se produit pour déborder le public lors de concerts annuels au Carnegie Hall de New York., Huit des disques de Jackson se sont vendus à plus d’un million d’exemplaires chacun.
Jackson était extrêmement populaire à l’étranger; sa version de « Silent Night”, par exemple, était l’un des disques les plus vendus de tous les temps au Danemark. Elle fait une apparition remarquée au Newport (Rhode Island) Jazz Festival en 1957—dans un programme entièrement consacré, à sa demande, aux chansons gospel-et elle chante à l’investiture du Président John F. Kennedy en janvier 1961., Dans les années 1950 et 60, elle était active dans le mouvement des droits civiques; en 1963, elle a chanté le vieux spirituel Afro-Américain « I Been ’Buked and I Been Scorned” pour une foule de plus de 200,000 à Washington, D. C., juste avant que le leader des droits civiques Martin Luther King, Jr., prononce son célèbre discours « I Have a Dream”.