A 2001. szeptember 11-ei terrortámadás hatására a frontember Gerard Way elhatározta, hogy Matt Pelissier dobossal együttest alapít. Később felkérték Ray Toro-t (aki addig egy másik együttesben dobolt) hogy gitározzon a zenekarban. Ezután csatlakozott Mikey Way basszusgitáros, majd Frank Iero (ex-Pencey Prep), mivel úgy érezték, hogy a dúsabb hangzás érdekében kell még egy gitáros Ray Toro mellé. A nevük Irvine Welsh Ecstasy: Three Tales of Chemical Romance című regényéből származik.
Nagy hatással voltak rájuk kezdetben a The Misfits, a Black Flag, a Smashing Pumpkins, a Morrissey, a The Smiths, a Queen és az Iron Maiden is. Az idők során rátaláltak saját stílusukra, ez a horror és a fantasy keveréke, amely a dalszövegeikben, a klipjeikben és a lemezborítóikon is visszaköszön.
2002 elején, három hónappal a megalakulásuk után kiadták I Brought You My Bullets, You Brought Me Your Love című bemutatkozó nagylemezüket az Eyeball Recordsnál.
2003-ban Reprise Recordsszal írtak alá lemezszerződést, és turnéra indultak Amerikában és Japánban. Közben már a második albumukon dolgoztak. A turné végeztével bejelentették, hogy Matt Pelisser (a hivatalos verzió szerint Frank Iero és a közte lévő ellentétek miatt) többé nem tagja a zenekarnak. Az új dobos Bob Bryar (a The Used addigi hangtechnikusa) lett. Gerard Way alkohol és drogproblémái miatt elvonókúrára ment.
2004-ben jelent meg a Three Cheers for Sweet Revenge című albumuk, amelyet Howard Benson producerrel készítettek. Az új album meghozta az áttörést. Rögtön az első héten több mint 11.000 darab fogyott a lemezből, és alig egy év alatt platinalemez lett. A Three Cheers for Sweet Revenge albumról több kislemezt is megjelentettek, amelyekhez videoklip is készült. Ezek: I´m Not Okay (I Promise), Helena, The Ghost of You. Az összes klipet Marc Webb rendezte.
2005-ben a My Chemical Romance a Green Day előzenekara volt az American Idiot lemezbemutató turnéján, majd önállóan koncerteztek világszerte. 2006 márciusában jelent meg a Life on the Murder Scene koncertalbumuk és -videójuk. Ezután kezdődtek meg a harmadik stúdióalbum, a The Black Parade felvételei. A nagylemez 2006 őszén jelent meg, és a kislemezre kimásolt Welcome to the Black Parade című szám a brit toplistán már a második héten az első helyre került.
2009 májusában került nyilvánosságra, hogy az együttes új albumán dolgozik Brendan O'Brien producerrel. A lemezfelvételt követően 2010 februárjában Bob Bryar dobos távozott a zenekarból.
2010 szeptemberében hivatalosan is megerősítették, hogy az együttes negyedik stúdiólemezének címe Danger Days: True Lives Of The Fabulous Killjoys lesz.
