Rejtély, kitől örökölte a botfülét. Olaszországból idesodródott dédapja is, nagyapja is elismert muzsikus volt, hegedűsök. Nagyapja az Operaház zenekarának primáriusa, zeneiskolai igazgató, híres hegedűtanár, nagymamája pedig osztrák énekesnő. Édesanyja, egy bécsi gyáros leánya, lelkesen zongorázott és szép althangon énekelt, de Hildával nem mentek semmire, hiába gyötörték őt zeneórákkal.
A módjával bohém nagypapa módfelett bohém fia, elvett egy igen fiatal leányt, és ezzel benősült egy jól menő bécsi kalapgyárba. Pesten a család elegáns papírkárpitüzletét (tapéta) vezette – tönkre. A pénzszórás volt ugyanis az ő igazi hivatása.
Gobbi kiváló stílusban megírt, roppant szórakoztató önéletrajzi kötetében (Közben, 1982) ezt olvassuk a dőzsölések évadáról: „Folyt a pezsgő. Gerbaud-mignonokkal részegen célozgatták hajnalban a Duna-part gesztenyefáit, a fürdőkádban piás tábornok horkolt, az erkélyen egy elázott méltóságos asszony ölelkezett egy ludovikás fiúval, zabáltak, ittak, mindenki jól érezte magát. Éjfélig én is ott téblábolhattam közöttük krepdesin ruhámban, fekete lakkcipőmben.” Reggel kidobták a villanyszámlást, a szabót, a kalapost, a lakbért követelő házmestert, és este újrakezdték.

Aztán jött a végrehajtó, és őket dobták ki a szép lakásból, miután minden ingóságukat elvitték.
A család szétszakadt.
Gobbi a Csalogány utcai tanítóképzőben járta az elemit, utána jött a Szilágyi Erzsébet Gimnázium a Várban. Ekkoriban, tizennégyéves korában abuzálta őt egy szomszédban lakó MÁV-főtanácsos, ahogy arra a kor által megkövetelt eufemizmussal utal önéletrajza 301. oldalán. Lehet, hogy ez a sokk is hozzájárult ahhoz, hogy a férfiakat örökre kizárta szexuális érdeklődésének köréből.