Den 9 mars 1903 utlyste några läroverkselever – Vid Högre Allmänna Läroverket, som det hette förr, ett möte med avsikt att bilda en förening: Idrottsföreningen Kamraterna. Så blev också mötets beslut. Idén till föreningsbildandet hade man fått via viss information från Stockholm. Där tillkom den allra första IFK-föreningen i landet, året var 1895 och då på initiativ av läroverkseleven Louiz Zettersten. IFK Vänersborg blev den 24:e föreningen i landet. Den första styrelsen i IFK Vänersborg fick följande utseende: A. Sandberg (ordförande) J. Magnusson, M-E Flygare, Ragnar Nilsson, Egon Häger och Jonas Flocker.
Under de första åren bedrevs grenarna inomhusidrott, gymnastik och till viss del s.k. allmän idrott (friidrott).
”Endast läroverkselever kunna vinna inträde i föreningen”. Detta fick man dock göra avkall på från sex år efter bildandet! Orsaken var att Vänersborgs Idrottssällskap lades ner och 27 av VIS medlemmar gick över till IFK Vänersborg, som med det plötsligt hade 47 medlemmar. Till detta en omsättning som redovisades till 499:- kronor för verksamhetsåret. Fram till 1921 hade all idrott administrerats av föreningens överstyrelse. Samma år uppdelades förvaltningen i sektioner. De olika förekommande grenarna fick därmed större rörelsefrihet och fler ledare bands till föreningen. Detta var lite om hur det började.
Många stora namn har passerat revy under loppens år. Den förste landslagsmannen kom att heta Olof Detter, Bland vännerna och andra enbart ”Kampis” kallad. Han debuterade som 16-åring i IFK:s A-lag. Blev 1923 landslagsman för första gången, Gjorde stormande succé som forward mot Ungern och dessutom mål i debuten. Han ansågs vara svensk fotbolls främste spelare på sin tid!
Under 1920-talet hade den allmänna idrotten (friidrotten) sin glansperiod. Många DM-tecken hemfördes till IFK. Något SM blev det dock aldrig. En av de bästa friidrottarna hette Harry Johansson. Under 1930-talet stod grenarna i bandy och simning i fokus inom föreningen. För att nämna några duktiga simmare under årens lopp så hette den som hemförde de första DM-medaljerna hos IFK, Harald Peters. Det var på distanserna 100 och 500 (!) meter frisim. Senare mycket kända simmare i Västsverige var Bror ”Tipaz” Ericsson och på damsidan Brita Peterson. Verkliga folkfester fram till 1952 var den årligen återkommande kanalsimningen tills denna lades ned. Alla former av bad runt Vänersborg hade förbjudits av hälsovårdsnämnden med anledning av att vattnet visade sig förorenat. Någon reträttplats fanns inte och grenen måste tyvärr läggas ner.
Ishockeyn hade sin glansperiod i föreningen åren 1946 – 1950. Man hade då egen bana vid Dövstumskolan där mellan 600 – 1.000 personer ständigt såg matcherna. 1968 återkom ishockeyn i IFK-regi genom sammanslagningen då mellan IK Lira (bandy), IK Columbia (fotboll), Vänersborgs Ishockeyklubb och IFK Vänersborg. Den fanns kvar till 1977 då man bröt sig ur IFK och bildade Vänersborgs Hockey Club istället. Kort efter sammanslagningen 1968 tillkom också sektioner som konståkning och motionssektion. 1970 bildades inom IFK ytterligare en sektion och det var Rugby på initiativ av Wieslav Buczynski. En lång rad landslagsmän fick föreningen inom denna sport under kommande år, och redan året efter bildandet 1971, blev IFK svenska seniormästare. Även på ungdomssidan vann rugbyn många SM. Idag är rugby en egen förening även den med allsvensk status.