Jackson szigorú vallási légkörben nevelkedett. Apja családja több előadóművészt is foglalkoztatott, de saját zenei tevékenységét az egyházi kórusban való éneklésre és—titokban—Bessie Smith és Ida Cox, valamint Enrico Caruso felvételeire korlátozta. 16 éves korában Chicagóba ment, és csatlakozott a Greater Salem Baptist Church kórushoz,ahol figyelemre méltó contralto hangja hamarosan szólistává választotta.,
Jackson először az 1930-as években került nagy nyilvánosság elé, amikor részt vett egy sífutó gospel turnén, olyan dalokat énekelve, mint “az egész világ a kezében van” és “bízhatok Jézusban.”1934-ben az első felvétel, hogy “Isten Lesz Elválasztani a Búzát a Konkoly,” sikeres volt, ami egy sor más felvételek. Jackson első nagy slágere, a ” Move on up a Little Higher “1945-ben jelent meg; különösen fontos volt a” vamp ” használata, egy határozatlan ideig ismétlődő kifejezés (vagy akkordmintázat), amely alapot nyújt az egyéni improvizációhoz., Az összes dal volt, amely egy azonosított—beleértve az “én Hiszek”, “Csak a Domb felett”, vagy “Amikor felébredek Dicsőség”, s “Csak egy Kis Ideig Itt Maradni”—volt a gospel dalok, a szövegek levonni bibliai témák pontot, majd erősen befolyásolja a harmónia, a ritmus, valamint az érzelmi erő, a blues. Jackson nem volt hajlandó vallásos dalokat énekelni, sőt egyáltalán énekelni olyan környezetben, amelyet helytelennek tartott. De énekelt a rádióban és a televízióban is, és 1950-től fellépett a New York-i Carnegie Hallban rendezett éves koncerteken., Jackson nyolc lemeze több mint egymillió példányban kelt el.
Jackson rendkívül népszerű volt külföldön; például a “Silent Night” verziója Dániában az egyik legkelendőbb lemez volt. 1957—ben a Newport (Rhode Island) Jazz Fesztiválon—egy olyan programban, amely teljes egészében az evangéliumi dalokra szentelt -, 1961 januárjában John F. Kennedy elnök beiktatásán énekelt., Az 1950-es és 60-as években aktív tagja volt a polgárjogi mozgalomnak; 1963-ban Washingtonban, közvetlenül Martin Luther King Jr., a polgári jogok vezetője előtt, több mint 200 000 fős tömeg előtt énekelte a régi afroamerikai spirituális “I Been ‘Buked and I Been Scorned” – t.