en 1946, la IFBB fue fundada por los hermanos Ben y Joe Weider en Montreal, Canadá bajo el nombre de «Federación Internacional de culturistas». Los dos países fundadores fueron Canadá y los Estados Unidos. El Sr. Ben Weider, del Canadá, fue el primer presidente de la IFBB. En 1967 se celebró el IFBB Mr. Olympia, que fue el primer concurso de la IFBB. De 1966 a 1970, la Federación experimentó un rápido crecimiento a medida que Joe y Ben Weider promovieron la organización a nivel mundial., En 1970, la IFBB tenía directores en más de 50 países en todo el mundo y la IFBB tenía su presencia en África, Asia, Europa, Australia, América del Norte y América del Sur.
el 4 de septiembre de 1970, la IFBB celebró su 1er Congreso Internacional en Belgrado, Yugoslavia, donde se adoptó una Constitución y un Consejo Ejecutivo. En 1971 Jim Morris se convirtió en el primer culturista profesional abiertamente gay de la IFBB. También en 1971, la IFBB se convirtió en miembro de la Asociación General de Federaciones deportivas internacionales (GAISF), ahora SportAccord., Al recibir la Membresía, la IFBB se convirtió en el único representante oficial del culturismo en ser reconocido por las autoridades deportivas mundiales. Desde la década de 1980 hasta su muerte en 2008, el presidente de la IFBB, Ben Weider, solicitó al COI la inclusión del culturismo en los Juegos Olímpicos. Aunque el culturismo nunca había estado en el programa olímpico, en 1998, el COI otorgó el reconocimiento provisional a la IFBB, que duró casi cuatro años, pero fue retirado en 2001.
en 2004, la IFBB pasó a llamarse Federación Internacional de culturismo y Fitness, pero conservó la abreviatura «IFBB»., Al año siguiente, la IFBB adoptó nuevas normas antidopaje siguiendo el Código Mundial Antidopaje. La sección profesional de la IFBB fue legalmente separada de la IFBB para formar la liga profesional de la IFBB, su propia entidad legal con sus propias reglas y regulaciones. A su vez, la Constitución de la IFBB se convirtió en un documento gobernante solo para el deporte amateur. En 2006, después de 60 años, Ben Weider renunció a su cargo como Presidente y el Dr. Rafael Santonja de España fue elegido como nuevo presidente. La sede de la IFBB se trasladó a Las Rozas (Madrid), España., En 2010, Santonja fue reelegido para un segundo mandato, y en 2014, fue reelegido por tercera vez en el Congreso Mundial de la IFBB en Brasilia.