Paul Simon édesapja a magyar rádió zenekarának muzsikusa volt, a zsidótörvények elől menekült Amerikába. Paul már New Yorkban nőtt fel, és haverkodott össze Art Garfunkellel. Kezdetben Tom and Jerry néven léptek fel (a kis termetű Simon volt az egér, a colos Garfunkel a macska), és tizenhat évesen már volt egy slágerlistás daluk, amelyet Simon jegyzett. Simon az egyetem angol szakára járt, de slágerszerzéssel is foglalkozott, álnéven legalább harminc dalt írt és néhányat el is énekelt.

1964-ben ismét Garfunkellel állt össze, és immár saját nevüket vállalva kaptak szerződést a Columbia cégtől. Az 1970-ben megjelent Bridge Over Troubled Water után a duó útjai szétváltak, Simon állítólag attól sokallt be, hogy minden dalt ő írt és hangszerelt, barátja meg csak énekelt - ugyanannyiért.

A szép emlékek azért egy évtized múlva ismét összehozták őket: 1981-ben a New York-i Central Parkban félmilliós tömeg előtt adtak koncertet, amelyet filmen és lemezen is megörökítettek. Bár sokan szerették volna, új stúdiólemezt már nem készítettek, de azóta többször turnéztak együtt.

Paul Simon szólólemezei milliós példányszámban keltek el. Legnagyobb sikere az 1986-ban kiadott, dél-afrikai zenei motívumokra épülő Graceland volt, ezen található a vicces videoklippel megtámogatott You Can Call Me Al.

Paul Simon 12 Grammy-díjat őriz vitrinében, kétszeresen - szólóban és duóban is - a Rock Halhatatlanja, és a Time magazin öt éve beválasztotta a világunkat meghatározó száz ember közé. Pénze jelentős részét jótékonysági célokra költi. Háromszor nősült, második felesége Carrie Fisher, azaz Leia hercegnő volt a Csillagok háborújából, 1992 óta Edie Brickell folkénekesnővel él boldog házasságban.