w 1946 roku IFBB została założona przez braci Bena i Joe Weidera w Montrealu w Kanadzie pod nazwą „International Federation of Bodybuilders”. Dwoma krajami założycielskimi były Kanada i Stany Zjednoczone. Pierwszym prezydentem IFBB został Ben Weider z Kanady. W 1967 roku odbył się IFBB Mr.Olympia, który był pierwszym konkursem IFBB. W latach 1966-1970 Federacja szybko się rozwijała, gdy Joe i Ben Weider promowali organizację na całym świecie., Do 1970 roku IFBB miało dyrektorów w ponad 50 krajach na całym świecie, a IFBB miało swój ślad w Afryce, Azji, Europie, Australii, Ameryce Północnej i Ameryce Południowej.
4 września 1970 roku w Belgradzie w Jugosławii odbył się i Międzynarodowy Kongres IFBB, na którym uchwalono konstytucję i Radę Wykonawczą. W 1971 Jim Morris został pierwszym otwarcie gejem IFBB profesjonalnym kulturystą. Również w 1971 roku IFBB zostało członkiem General Association of International Sports Federations (GAISF), obecnie SportAccord., Po otrzymaniu członkostwa, IFBB stał się jedynym oficjalnym przedstawicielem kulturystyki, który został uznany przez światowe władze sportowe. Od 1980 roku do swojej śmierci w 2008 roku, prezydent IFBB Ben Weider zwrócił się do MKOl o włączenie kulturystyki do Igrzysk Olimpijskich. Chociaż Kulturystyka nigdy nie była w programie olimpijskim, w 1998 roku MKOl przyznał tymczasowe uznanie IFBB, które trwało prawie cztery lata, ale zostało wycofane w 2001 roku.
w 2004 roku IFBB została przemianowana na International Federation of Bodybuilding and Fitness, ale zachowała Skrót „IFBB”., W następnym roku IFBB przyjęła nowe zasady antydopingowe IFBB zgodnie ze światowym kodeksem Antydopingowym. Sekcja IFBB Professional została prawnie oddzielona od IFBB tworząc IFBB Professional League, własną osobę prawną z własnymi zasadami i regulacjami. Z kolei Konstytucja IFBB stała się dokumentem regulującym wyłącznie sport amatorski. W 2006, po 60 latach, Ben Weider zrezygnował z funkcji prezydenta, a nowym prezydentem został wybrany Dr Rafael Santonja z Hiszpanii. Siedziba IFBB została przeniesiona do Las Rozas (Madryt) w Hiszpanii., W 2010 Santonja został ponownie wybrany na drugą kadencję, a w 2014 po raz trzeci został wybrany na kongresie IFBB World Congress w Brasilii.