John Roy Andersonként született 1944. október 25-én, az angliai Lancashire-ben.
Jon Anderson felnőve a progresszív rock egyik legjellegzetesebb hangjává vált. Zenei karrierjét a bátyja, Tony zenekarában, a Warriors-ban kezdte. Végül az az együttes áttelepült Angliából Németországba, bár Tony akkorra már elhagyta a csapatot. Így az egyetlen Anderson még a bandában 1965-re, amikor első kislemezüket kiadták, Jon volt (formailag ekkor még John). A kislemez fogadtatása meglehetősen visszafogott volt és Anderson kivált a zenekarból 1967-ben, maga mögött hagyva a bandával töltött öt évet.
Következő megmozdulása a The Party együtteshez vezetett, bár ez elég rövid életű volt. 1968-ra Anderson visszatért Angliába és készített két kislemezt Hans Christian Anderson becenéven. Ezek is hasonló fogadtatásban részesültek, mint a Warriors kislemeze. Anderson pályáját a Gun zenekarnál folytatta, bár csak néhány hónapig maradt náluk.
1968 volt az az év zenei pályafutásában, amikor bemutatkozására sor került egy londoni klubban. Jon Andersont bemutatták Chris Squire-nek, akiben zenei rokonlélekre talált, és elkezdett együtt dolgozni Squire zenekarával, a Mabel Greer’s Toy Shop-pal, ahol a gitáros abban az időben Peter Banks volt. Anderson elkezdett feltörni, és addig-addig éneklet a bandával, míg végül az énekesükké vált. Habár Banks elment, végül Andersont felvették. Fokozatosan egyre többen kezdtek bekerülni a Toy Shop különféle zenészekből álló flottájába. Először Bill Bruford, aztán Tony Kaye. Végül Peter Banks is visszatért, és a csapat úgy döntött, hogy megváltoztatja a nevét „Yes”-re.
1969-ben és 1970-ben adták ki két első albumukat, ami mindkettő kedvező kritikákat kapott, de sem kereskedelmi sikerük nem volt, sem rádióban nem játszották őket. Végül felvették az 1970-es The Yes Albumot, Peter Banks-t Steve Howe-val helyettesítették, és ez az összeállítás, a szerencsével karöltve egy amerikai rádióállomáson segített elindítani a kereskedelmi karriert is. Érdekes, hogy Anderson talált időt a projektekre, még a felvételek és a Yes-szel való turné közepette is. Sőt, két albummal is megjelenik az évtized első két évében. Az első a King Crimson’s Lizard volt, a másik a Johnny Harris’ All to Bring You Morning. A következő Yes album az 1972-es Fragile az új billentyűs, Rick Wakeman és a „Roundabout” kislemez debütálása is egyben. A kombináció felpörgette a csapatot és Anderson reflektorfénybe került.
A következő néhány évre a Yes tölti ki Anderson legtöbb idejét. 1974 előtt három további stúdióalbum felvételével és a folyamatos turnézással nem nagyon maradt ideje bármi másra. Azonban a Relayer turnéja után a dolgok kezdtek kicsit lecsendesedni.
Anderson-nak sikerült együtt dolgoznia Vangelis Papathanassiou-val, aki a Yes első választása volt Patrick Moraz helyett, Anderson adta a vokált a billentyűs 1975-ben kiadott Heaven and Hell albumához. Nem lehetett ez az utolsó alkalom, hogy együtt dolgozzanak.
1976-ban a zenekar elérkezettnek látta az időt szólóalbumok készítésére. Andersoné, az Olias of Sunhillow egy ambíciózus összeállítás volt. Egy album hosszúságú összeállítás volt, szinte az összes korábbi szerzeménynek és előadásnak, amit az énekes maga alkotott. A Yes dobosának, Alan White-nak Ramshackled című albumához is ő adta a vokált. Úgy tűnt, hogy a szünet új lendületet adott az együttesnek és következő, Going for the One című, nagyon erős albumuknak, melyen a visszatérő Rick Wakeman is közreműködött, és amely és amely stílusosan vezette be az együttest 1977-be. Anderson szerepe a csoportban mégis a vége felé közeledett.
Megragadt náluk a következő album és néhány turné idejére, de amikor elkezdték a következőt, a Tormato felvenni, felbukkantak a rettegett „zenei különbözőségek” és Anderson elment.
Bár nem maradt tétlenül. Sőt, az elkövetkező pár év igazán termékeny volt számára. Kiadta második szólóalbumát Song of Seven címmel 1980-ban. Még ugyanabban az évben ismét együtt dolgozott Papathanassiou-val. Ekkor felvettek egy egész albumot közösen, amit Jon & Vangelis művésznév alatt adtak ki. Az albumnak Short Stories címet adták, és annyira élvezték a közös munkát, hogy 1981 végéig még két albumot csináltak együtt. 1981-ben Anderson szerepelt Rick Wakeman 1984 albumán. Következő szólóalbuma az 1982-es Animation volt, egy műsor, amit az úton vett fel.
1983 egy újabb fordulópont volt Anderson életében. Dolgozott Mike Oldfield Crises albumán, bár ez nem volt döntő tényező a karrierjében. Végül a Yes majdnem három évre feloszlott. Chris Squire és Alan White egy fiatal gitárossal, Trevor Rabinnal dolgozott együtt egy Cinema nevű projekten, ahová Tony Kaye is felsorakozott. Az egykori Yes-ben az Anderson-t helyettesítő Trevor Horn javalsolta, hogy Anderson is hozzátehetne némi vokált a projekthez. Megegyeztek. Anderson beleegyezett, hogy az ő hangja legyen a Yes dalaiban. A csapat egyetértett és a Cinema nevet elvetették a Yes javára. Az elkészült lemez, a 90125, melyet leginkább az „Owner Of A Lonely Heart” című sláger futtatott fel, nagyobb sikereket ért el, mint bármely más albumuk azelőtt. Következett egy turné, de utána újra csend lett az együttes körül. Anderson élt a lehetőséggel, és újabb szólólemezt készített, ami egy szünidei dalokból összeállított válogatás volt, és a Three Ships címet kapta. Közben néhány más projekten is dolgozott, többek közt például filmzenéken John Paul Jones-szal és a Tangerine Dream-mel. A következő Yes album és turné 1987-ben újra felszínre hozta a zenei nézeteltéréseket, és Anderson megint elhagyta a Yes-t.
A zenekarból való második távozása utáni időszakban kiadott egy újabb szólóalbumot, ami egy meglehetősen zavaros gyűjtemény volt, In The City Of Angels címmel. A Toto által kiadott The Seventh One-on is szerepelt vendégként. Végül ő kezdeményezte a beszélgetést különböző Yes öregdiákokkal, hogy dolgozzanak újra együtt. Csoportjukhoz (Anderson, Steve Howe, Rick Wakeman és Bill Bruford) csatlakozott Tony Levin és készítettek egy albumot. Az egyetlen probléma annak eldöntése volt, hogy hogy hívják az együttest. Ők a Yes nevet akarták, de Chris Squire bizonyította, hogy ennek a névnek a tulajdonjoga őt illeti, és nem engedte nekik, hogy ezt használják. Így aztán okosan lemondtak erről, és vezetéknevükön dolgoztak. Így kapta albumuk az Anderson-Bruford-Wakeman-Howe címet. Az együttes széles körben turnézott a forgalomba hozatalért, de Anderson még mindig talált időt arra, hogy közreműködjön vokállal Jonathan Elias Requiem for the Americas albumán. Eközben újabb érdekes fordulat rajzolódott ki a láthatáron. Ahogy az Anderson-Buford-Wakeman-Howe a második kiadáson dolgozott, a Yes a következő albumának felvételét készítette. A kommunikációs csatornák újra megnyíltak, és a két projektet egy Yes albumban egyesítették, mely a Union címet kapta. A csapat telt stadionokban turnézott az albummal, és nagyon jó kritikákat kapott. Anderson még arra is talált időt, hogy újra együtt dolgozzon Papathanassiou-val, és 1991-ben kiadták a következő Jon & Vangelis albumot Page Of Life címmel. Egy évvel később Kitaro Dream albumán dolgozott. Más projektek közepette Anderson újabb albumot készített Papathanassiou-val (Chronicles), valamint két szólólemezt (Deseo és Change We Must) is a következő Yes album, a Talk 1994-es megjelenése előtt. Ezen a lemezen a felállás visszatért az öt tagból állóhoz, amikor Steve Howe, Rick Wakeman és Bill Bruford még nem jártak külön utakon.
A következő néhány évben a Yes körül csend volt, de nem Anderson körül. Különböző projektekben vállalt vendégszereplést, és kiadott két új szólóalbumot is. Aztán megint nagy dolgok tűntek fel a láthatáron a Yes számára.
1995 végén bejelentették, hogy Trevor Rabin és Tony Kaye már nem tagja a csapatnak többé. Helyükre Stewe Howe és Rick Wakeman került. A klasszikus Yes felállás és hihetetlen rajongó lelkesedés vette körül mind a zenekart, mint Anderson-t. Az együttes háromszor lépett fel San Louis Obispo-ban 1996. márciusában. A műsorokról felvételek készültek, és kiadásra kerültek az új stúdióanyaggal, mint a két Keys To Ascension album.
1997-ben Anderson egy kicsivel még tevékenyebb lett. Kiadott két szóló albumot, a kelta The Promise Ring-et és az EarthMotherEarth-öt. A Yes is megjelentetett egy új albumot az ő vokáljával. A lemez címe Open Your Eyes volt, és az igazi Yes forgóajtó-szerű tagságának hagyományának szellemében Rick Wakeman közreműködése nélkül, aki akkorra már elhagyta őket. Anderson elkísérte a zenekart a turnéra kis hangulatos színházakba, ahogy épp esett.
1998-ban kiadta következő szólóalbumát, a The More You Know-t. Még ugyanabban az évben számos más kiadványban csillogtatta meg énekesi tehetségét. Köztük volt például a 4Him’s albuma, a Streams, a Yes The Ladder-je, és Steve Howe Portraits of Bob Dylan-je. A turnézás és a munka a Yes Magnification albumán folyamatos elfoglaltságot adott Anderson-nak, de ő mégis talált időt Béla Fleck & The Flecktones 2000-es kiadására, az Outbound-ra.