1920 metais Kelmės miestelio ir apylinkių inteligentai susiburė į Švietimo draugijos Kelmės skyrių. Jo steigėjai buvo Kelmės vaistininkas B. Bucevičius, pastorius K. Kurnatauskas, medikas B. Gasiūnas, E. Gasiūnienė, kunigas P. Janušauskas, mokytojas Arlauskas. Draugijos tikslas – įkurti Kelmės progimnaziją. Ji buvo įkurta 1921 metų rugpjūčio 19 d. Pirmuoju direktoriumi buvo paskirtas Kelmės evengelikų reformatų pastorius Konstantinas Kurnatauskas. Mokykla įsikūrė buvusios dvarininko Gruževskio alaus daryklos pastate. Jos darbo sąlygos buvo sunkios. Progimnazijoje mokytojavo iškilus kalbininkas ir vertėjas Jurgis Talmantas, dailininkas Zigmas Petravičius, Pranciškus Juchnevičius, Ona Timinskaitė ir kt.
Pirmąją savo laidą Kelmės progimnazija išleido tik 1923 metais. Tuo metu joje mokėsi apie 120 mokinių. Vėliau jų sumažėjo. 1936 metais buvo tik 90 mokinių. Mokykla turėjo 500 knygų bibliotekėlę. Progimnazijai lėšos buvo kaupiamos iš aukų ir mokinių mokesčio už mokslą.
Nuo 1924 metų pradėta karštai diskutuoti dėl gimnazijos įkūrimo Kelmėje. 1932 metais progimnazijos direktoriumi paskirtas poetas Jonas Graičiūnas. Jau 1937 metais gimnazijoje buvo įkurta penktoji klasė. 1939 metų rugsėjo 1 d. Švietimo ministerija įsteigia valstybinę gimnaziją, nors joje buvo tik septynios klasės. Oficialiai gimnazija atidaryta tik 1940 metų birželio 9 d., o 1941 metų birželio 21 d. išleidžiama pirmoji abiturientų laida, t. y. 53 mokiniai.
Slogūs ir sunkūs gimnazijai buvo sovietinės ir hitlerinės okupacijos metai. Gimnazija neturėjo patalpų, buvo kilnojama iš vienos vietos į kitą. Tačiau, nepaisant įvairių kliūčių, 1942–1944 metais gimnaziją baigė antroji ir trečioji, ketvirtoji abiturientų laidos. Išleidus ketvirtąją abiturientų laidą, rytuose jau girdėjosi sovietų armijos patrankų dundesys. Spalio 6 d. okupantai sugrįžo į Kelmę.
1950 metais gimnazija tampa vidurine mokykla. llgai ir sėkmingai mokykloje dirbo direktoriai A. Makarevičius, J. Alsbutas, M. Jovaiša, Z. Petrauskas ir kt., mokytojai B. ir J. Kavaliauskai, B. Garšvienė, G. Rutkūnienė, A. ir P. Matkevičiai, A. Siurginevičienė, E. ir J. Alsbutai, Br. Urbelis, A. Vidauskienė, A. Butkus, J. Stasiulaitis, K. Šarauskas, A. Čepienė, I. Sabaitienė, S. Ditmanas, G. Encienė ir daugelis kitų. Visi kelmiškiai dar ir šiandien mena mokytojas Petronėlę Laugalytę, Eleną Paulekaitytę, Liudą Rukienę, Br. Lazickienę. Šiandien su pagarba minimi buvę mokyklos auklėtiniai: profesoriai Kęstutis ir Gediminas Jociai, humanitarinių mokslų daktarė R. Venckutė, technikos mokslų daktaras V. Pikturna, poetas V. Šimkus, aktoriai C. Judeikis, C. Stonys, AB „Baltija“ laivų statyklos direktorius V. Stulpinas, AB „Autoturas“ direktorius R. Paulauskas, valstybinės troleibusų transporto įmonės direktorius J. Bagdonavičius ir daugelis kitų.
Prasidėjus tautiniam atgimimui, mokykla aktyviai pertvarko ugdomąjį procesą. Jo pamatu tampa dorovinis auklėjimas. Puoselėjama saviaukla, kūrybinė iniciatyva, moksleiviai plačiau supažindinami su pasaulinės literatūros, kultūros ir mokslo laimėjimais. Mokykla aktyviai dalyvauja visuomeniniame gyvenime, pagal galimybes stiprina savo materialinę bazę.
Švietimo skyriui pasiūlius, mokykla siekia atgauti gimnazijos statusą. 1993-1994 metais įkurta pirmoji gimnazijos klasė, o 1997 metais realinio ir humanitarinio profilio gimnazija atkurta ir pavadinta poeto Jono Graičiūno vardu.
2002 metais įkurtas Informacijos centras, pavadintas gimnazijos mecenato JAV rašytojo ir verslininko Antano Mikalajūno vardu. A.Mikalajūnas gimnaziją remia nuo 1994 metų, jo dėka įsigyta nemažai įvairios technikos, remontuotos Informacijos bei Sveikatingumo centro patalpos. Nuo 1994 metų geriausias metų gimnazistas gauna A.Mikalajūno vardo premiją.
2005 metais įkurti dar du gimnazijos centrai: Muzikos studija bei Televizijos ir radijo studija.
Gimnazijoje sukurtos puikios sąlygos meninei moksleivių saviraiškai. Gera materialinė bazė (muzikos kabinetas kompiuterizuotas, yra sintezatorių, gitarų, garso įrašymo, atkūrimo technikos, vaizdo ir garso magnetofonai; dailės kabinete yra molio apdirbimo krosnis, grafikos staklės ir kt.), puikūs pedagogai ir aktyvūs moksleiviai įgyvendina daug idėjų: kasmet gimnazijos bendruomenę pradžiugina dramos studijos „Savi“ premjeros, kas dveji metai gimnazijos scenoje pastatomas stambus muzikinis veikalas Kiekvieną pavasarį gimnazistai surengia dailės ir fotografijos parodas, o Muzikos studija – koncertus. Geriausi moksleivių kūrybos darbai išleidžiami gimnazijos leidybos centre atskirais leidiniais ir rinktinėse. Ne veltui aktyviausieji, kūrybiškiausieji gimnazistai ir mokytojai susibūrė į kūrybos klubą „Hipokrenė“, įsteigta ir „Hipokrenės“ premija už kūrybinius laimėjimus! O kur dar jaunieji gitaristai, sintezatoriaus mėgėjai, medžio drožėjai, pynėjai iš vytelių, dainininkai, folklorinio ansamblio dalyviai! Kur jaunieji žurnalistai, aprašantys visa, kas vyksta gimnazijoje!
Įgyvendinus nemažai projektų, padedant rėmėjams, ypač AB „Laivų statykla „Baltija“, gimnazijoje įkurtas sveikatingumo centras „Baltija“. Jame sportuoti, judėti gali tiek mokytojai, tiek moksleiviai ir jų tėveliai. Sveikatingumo centre nuolat pilna žmonių, įvairiausi treniruokliai – dviračiai, orbitrekai, steperiai, treniruokliai – takeliai – nespėja „suktis“…
Tikrai būsime sveiki!
2008 rugsėjo 1 dieną atidarytas Technologijų centras, kuriame veikia dailės, tekstilės-dizaino, mitybos, keramikos, elektronikos, konstrukcinių medžiagų kabinetai. Technologijų centras užtikrina geras technologijų dalyko mokymo sąlygas, suteikia galimybę mokiniams rinktis patinkančias programas mokantis technologijų, ugdo mokinių verslumą, telkia gimnazijos bendruomenę organizuojant bendrą tėvų-mokinių-mokytojų veiklą, organizuoja turiningą vasaros poilsį bei neformalųjį ugdymą.
2011 metų spalio mėnesį J. Graičiūno gimnazijoje buvo įkurtas pirmasis ir kol kas vienintelis Kelmės rajone Tolerancijos ugdymo centras (TUC). Jis įkurtas, nes mūsų mokyklos bendruomenė – tolerantiška ir atvira. Mes dirbame tam, kad nebūtų pamirštos nacių ir sovietinio okupacinio režimo aukos.
Nuo 2011 metų J. Graičiūno gimnazijos istoriją galite sekti gimnazijos naujienose.