A kaliforniai Terrance-ből érkezett Nelson gyermekkora óta szereti az olimpiát: első ízben 1932-ben Los Angelesben látogatott a játékokra, majd minden ezt követő seregszemlére elutazott, kivéve az 1936-os berlinit, amikor még iskolás volt. Természetesen hobbija áldozatokkal is jár: Nelson még a nászútját is elhalasztotta, hogy 1956-ban elutazhasson Melbourne-be. 

"A feleségem, Dee igen megértő, hiszen a könnyűatlétika-versenyek nézése közben találkoztunk. Számára London a 12. olimpia, amit együtt nézünk meg" - mondta az agg szurkoló, aki egyike volt a bojkott ellenére az 1980-as moszkvai játékokra is elutazott amerikai állampolgároknak. Nelson emlékszik az 1948-as londoni olimpiára is: "Sokan voltak elkeseredettek, a várost előtte lebombázták, minden szürke volt".

Arra a kérdésre, hogy 2016-ban elutazik-e Rio de Janeiróba is, Nelson kitérő választ adott: "Kilencvenévesen már nem tudja az ember, mit hoz a holnap. Ezért mondom a fiataloknak, hogy minden napból ki kell venni a lehető legtöbbet, mert egy életet csak egyszer lehet leélni" – tette hozzá.