Vuonna 1946, IFBB perusti veljekset Ben ja Joe Weider Montrealissa, Kanadassa nimellä ”International Federation of Bodybuilders”. Kaksi perustajamaata olivat Kanada ja Yhdysvallat. Kanadan Ben Weider toimi ensimmäisenä IFBB: n presidenttinä. Vuonna 1967 järjestettiin IFBB Mr. Olympia, joka oli IFBB: n ensimmäinen kilpailu. Vuosina 1966-1970 liitto koki nopeaa kasvua, kun Joe ja Ben Weider edistivät järjestöä maailmanlaajuisesti., Vuoteen 1970, IFBB oli johtajia yli 50 maassa ympäri maailmaa ja IFBB oli sen jalanjälki Afrikassa, Aasiassa, Euroopassa, Australiassa, Pohjois-amerikassa ja Etelä-Amerikassa.
4. syyskuuta 1970, IFBB pidetään sen 1. Kansainvälisessä Kongressissa Belgradissa, Jugoslaviassa, jossa Perustuslaki hyväksyttiin ja Toimeenpaneva Neuvosto. Vuonna 1971 Jim Morrisista tuli ensimmäinen avoimesti homo IFBB-ammattikehonrakentaja. Myös vuonna 1971, IFBB tuli jäsen General Association of International Sports Federations (GAISF), nyt SportAccord., Saatuaan jäsenyys, IFBB tuli ainoa virallinen edustaja kehonrakennus olla tunnustettu maailman urheilun viranomaisten. 1980-luvulta kuolemaansa 2008 asti IFBB: n puheenjohtaja Ben Weider vetosi KOK: hon kehonrakennuksen sisällyttämisestä olympialaisiin. Vaikka kehonrakennus ei ollut koskaan ollut Olympialaisten Ohjelmassa vuonna 1998, KOK myönsi IFBB väliaikaista tunnustamista, joka kesti lähes neljä vuotta, mutta oli peruutettu vuonna 2001.
Vuonna 2004, IFBB nimeksi International Federation of Kehonrakennus ja Fitness, mutta säilytti ”IFBB” lyhenne., Seuraavana vuonna IFBB hyväksyi uudet IFBB: n antidopingsäännöt Maailman antidopingsäännöstön mukaisesti. IFBB Professional Jakso oli oikeudellisesti erotettu IFBB muodostaa IFBB Professional League, oma oikeushenkilö, jolla on oma sääntöjä ja määräyksiä. IFBB: n perustuslaista puolestaan tuli vain amatööriurheilun hallitseva asiakirja. Vuonna 2006, 60 vuoden jälkeen, Ben Weider erosi tehtävästään presidenttinä ja uudeksi presidentiksi valittiin tohtori Rafael Santonja Espanjasta. IFBB: n päämaja siirrettiin Espanjan Las Rozasiin (Madrid)., Vuonna 2010, Santonja hänet valittiin uudelleen toiselle kaudelle, ja vuonna 2014 hänet valittiin kolmannen kerran tällä IFBB World Congress Brasiliassa.