1999-ben alakultak Amityville-ben. Stílusukat, a 'melodikus hardcore-t olyan bandáktól vették át, mint a Lifetime, Endpoint, Sunny Day Real Estate és persze Ed Reyes emo bandájától, a Movielife-tól. A banda első demo-ja, egy 5 dalt tartalmazó CD, 2001 februárjában jelent meg.

Egy év múltán, miután magukat 'reklámozták' és turnéztak, beleértve ebbe a showkat, amiben szerepeltek a At the Drive-In -nal és az Alkaline Trio-val, a Taking Back Sunday csatlakozott a Victory Records-hoz. A banda azonnal New Jersey Big Blue Meanie Recording Stúdiójába ment, ahol Sal Villanueva producerrel és a mérnök Tim Gilles-szel felvegyék a teljes hosszúságú debütáló albumukat. Az az album, a Tell All Your Friends, felvázolta Adam Lazzara érzéki hangját és Ed Reyes és John Nolan kettős-gitározásának eredményét, a klasszikus hardcore hangzásért, a pop dalírással együtt. A Tell All Your Friends című album 2002 márciusában került kiadásra a Victory Records által.

A csapat eltöltötte az időt annak az évnek a hátralevő részében, és a 2003-as turnézást is, de amikor a basszusgitáros Shaun Cooper és a gitáros John Nolan kilépett a bandából, a Taking Back Sunday jövője kételyek között maradt. Habár, a gitáros/énekes, Fred Mascherino és a basszusgitáros, Matt Rubano kitöltötték a szabadon hagyott helyeket a 2003-as őszi turnéra. A következő album, a Where You Want To Be, 2004 nyarán érkezett meg és a legjobb 3 között debütált a Billboard's Top 200-on. A TBS folytatta a turnékat, a North American Tour-t és a szokásos Warped Tour-t. 2005 júniusában a Warner Bros. - nál írták alá a szerződést, az év során több koncertjük is volt a Jimmy Eat World-del. Augusztusban visszatértek a stúdióba, az eredmény az ő harmadik teljes hosszúságú albumuk volt, a Louder Now, amivel a 2. helyet is megütötték a Top 200-on. Ez az album egy sötétebb, egy agresszívebb hatást hozott a banda energiájából.