Korán elhunyt néptanító apjának családja kétszáz év óta tanítóskodott. Anyja négy gyermeket nevelt fel, Öveges a győri bencésekhez, majd a kecskeméti piaristákhoz járt gimnáziumba, 1912-ben lépett be a piarista rendbe. 1919-ben matematika-fizika szakos tanári oklevelet szerzett a budapesti egyetemen, 1920-ban pappá szentelték, majd a piaristák gimnáziumaiban tanított Szegeden, Tatán, Vácott és a fővárosban. 1946-ban kilépett a rendből, egy évig a Közgazdasági Egyetem tanárképző intézetében meghívott, majd rendes fizikatanár lett. 1948-tól 1955-ös nyugdíjazásáig a Pedagógiai
Főiskola tanszékvezető tanára volt.

Első könyvét még Tatán írta 1929-ben, Időjóslás és időmeghatározás címmel, amelyre az előfizetőket neki kellett összegyűjtenie - akár Csokonai korában. Az 1950-es évek első felétől írásaival, könyveivel, rádió- és televíziós sorozataival megalapozta az új magyar természettudományos ismeretterjesztést.

A bonyolult kísérleteket is oly egyszerűen magyarázta el, hogy a teljesen képzetlenek is megérthették. Számos kísérletét egyszerű eszközökkel, egy konyhaasztalon is el lehetett végezni. A kísérletező fizikatanítás, a népművelés és az erre irányuló módszerek és intézmények kiemelkedő szószólója volt, a Tudományos Ismeretterjesztő Társulatban (TIT) filmvetítéses előadásokat tartott. 1970-től természettudományi játszóházakat tervezett, ahol szülők és gyermekek együtt ismerkedhettek volna a természet törvényeivel. A Bocskai út és a Zsombolya út sarkán létre is jött a TIT Természettudományi Stúdiója, ám az építkezés elvitte a pénzt, és az Öveges által elképzelt kísérletező játszóház nem valósult meg.

Megszervezte viszont az úgynevezett jelenség-bemutató kiállításokat, amelyeken a látogatók is kísérletezhettek - ezek voltak az első interaktív bemutatók Magyarországon.

Szuggesztív tanáregyéniség volt, a televízió 1957-es megnyitó műsorában már félórát kapott, amelynek igen jó visszhangja lett. Ezután 12 éven át mutatta be közérthető, ízes magyar nyelven fizikai kísérleteit a képernyőn - milliók érdeklődését keltve fel a hangtani, hőtani, fénytani és elektromos jelenségek iránt. Havonta jelentkezett műsorával, igazi tévésztár lett, a televízió 100 kérdés - 100 felelet című műsorát is vezette 1958-69 között. 1946-os megalapításától szerzője, később szerkesztője volt az Élet és Tudomány című lapnak, ő hívta benne életre a Kísérletezzünk és gondolkozzunk című rovatot.

1948-ban kapott Kossuth-díjat fizikai kísérleti eszközök olcsó előállításáért, 1962-ben Bugát Pál emlékéremmel, 1970-ben SZOT-díjjal tüntették ki. Több mint harminc kötete jelent meg, válogatott írásai Nagy Öveges-könyv címmel 1989-ben Simonffy Géza szerkesztésében láttak napvilágot.

1995-ben, születésének századik évfordulóján forgalomba hozták az Öveges József munkásságának legfőbb értékeit bemutató CD-ROM-ot. Ez két fizikatankönyvének teljes szövegét és a Legkedvesebb kísérleteim című videokazetta filmjeinek rövidített változatát is tartalmazza.

Nevét szülőfalujában általános iskola, Budapesten középiskola, valamint az Öveges József fizikai tanulmányi verseny őrzi, melyet az általános iskolák nyolcadik osztályosai és gimnazisták számára hirdetnek meg. Öveges József 1979. szeptember 4-én halt meg Budapesten.