V roce 1946, IFBB založili bratři Ben a Joe Weider v Montrealu v Kanadě pod názvem „Mezinárodní Federace Kulturistů“. Obě zakládající země byly Kanada a Spojené státy. Pan Ben Weider z Kanady sloužil jako první prezident IFBB. V roce 1967 se konala IFBB Mr. Olympia, což byla první soutěž IFBB. Od roku 1966 do roku 1970 federace zaznamenala rychlý růst, když Joe a Ben Weider propagovali organizaci po celém světě., Do roku 1970 měl IFBB ředitele ve více než 50 zemích po celém světě a IFBB měla svou stopu v Africe, Asii, Evropě, Austrálii, Severní Americe a Jižní Americe.
4. září 1970 uspořádala IFBB svůj 1. Mezinárodní kongres v Bělehradě v Jugoslávii, kde byla přijata Ústava a Výkonná rada. V roce 1971 se Jim Morris stal prvním otevřeně homosexuálním profesionálním kulturistou IFBB. Také v roce 1971 se IFBB stala členem Generální asociace mezinárodních sportovních federací (GAISF), nyní SportAccord., Po obdržení členství se IFBB stala jediným oficiálním zástupcem kulturistiky, který byl uznán světovými sportovními úřady. Od 80.let do své smrti v roce 2008 požádal prezident IFBB Ben Weider MOV o zařazení kulturistiky na olympijské hry. Ačkoli kulturistika nikdy nebyla na olympijském programu, v roce 1998 MOV udělil prozatímní uznání IFBB, které trvalo téměř čtyři roky, ale bylo staženo v roce 2001.
v roce 2004 byla IFBB přejmenována na Mezinárodní federaci kulturistiky a Fitness, ale zachovala si zkratku „IFBB“., Následující rok IFBB přijala nová antidopingová pravidla IFBB podle Světového antidopingového kodexu. Sekce IFBB Professional byla legálně rozdělena od IFBB k vytvoření IFBB Professional League, vlastní právnická osoba s vlastními pravidly a předpisy. Ústava IFBB se zase stala řídícím dokumentem pouze pro amatérský sport. V roce 2006, po 60 letech, Ben Weider odstoupil z funkce prezidenta a Dr. Rafael Santonja ze Španělska byl zvolen novým prezidentem. Sídlo IFBB bylo přesunuto do španělského Las Rozas (Madrid)., V roce 2010 byl Santonja znovu zvolen na druhé funkční období a v roce 2014 byl potřetí zvolen na světovém kongresu IFBB v Brasilii.