Jackson fue criado en una estricta atmósfera religiosa. La familia de su padre incluía varios artistas, pero se vio obligada a limitar sus propias actividades musicales a cantar en el coro de la iglesia y escuchar—subrepticiamente—grabaciones de Bessie Smith e Ida Cox, así como de Enrico Caruso. Cuando tenía 16 años, se fue a Chicago y se unió al coro de la Iglesia Bautista de Greater Salem, donde su notable voz de contralto pronto la llevó a ser seleccionada como solista.,
Jackson llamó por primera vez la atención del público en la década de 1930, cuando participó en una gira de gospel a través del país cantando canciones como «He’s Got the Whole World in His Hands» y «I Can Put My Trust in Jesus. En 1934 su primera grabación, «God Gonna Separate the Wheat from the Tares», fue un éxito, lo que llevó a una serie de otras grabaciones. El primer gran éxito de Jackson,» Move on Up a Little Higher», apareció en 1945; fue especialmente importante por su uso del» vamp», una frase repetida indefinidamente (o patrón de acordes) que proporciona una base para la improvisación en solitario., Todas las canciones con las que se identificó—incluyendo «I Believe», «Just over the Hill», «When I Wake Up in Glory» y «Just a Little While to Stay Here»—eran canciones gospel, con textos extraídos de temas bíblicos y fuertemente influenciados por las armonías, ritmos y fuerza emocional del blues. Jackson se negó a cantar cualquier canción que no fuera religiosa o, de hecho, a cantar en absoluto en un entorno que ella consideraba inapropiado. Pero cantó en la radio y en la televisión y, a partir de 1950, actuó para desbordar al público en conciertos anuales en el Carnegie Hall en la ciudad de Nueva York., Ocho de los discos de Jackson vendieron más de un millón de copias cada uno.
Jackson fue enormemente popular en el extranjero; su versión de «Silent Night», por ejemplo, fue uno de los discos más vendidos de todos los tiempos en Dinamarca. Hizo una notable aparición en el Festival de Jazz de Newport (Rhode Island) en 1957—en un programa dedicado enteramente, a petición suya, a canciones gospel—y cantó en la toma de posesión del presidente John F. Kennedy en enero de 1961., En los años 1950 y 60 estuvo activa en el movimiento por los derechos civiles; en 1963 cantó el viejo espiritual Afroamericano «I Been ‘Buked and I Been Scorned» para una multitud de más de 200,000 en Washington, D. C., justo antes de que el líder de los derechos civiles Martin Luther King, Jr., pronunciara su famoso discurso «I Have a Dream».