1906. december 6-án Goldmark Péterként született Budapesten, a Károly nevet később vette fel híres zeneszerző nagybátyja tiszteletére. A zenéhez ő is vonzódott, élete végéig muzsikált, még a híres klarinétos Benny Goodman partnere is volt. Még jobban izgatta azonban a fizika, rendkívüli műszaki tehetségével már középiskolás korában kitűnt.

A család 1919-ben Bécsbe költözött, az itteni műszaki egyetem elvégzése után Berlinben a később Nobel-díjjal kitüntetett Gábor Dénes mellett dolgozott. Goldmark intenzíven érdeklődött az akkor még gyermekcipőben járó televíziózás iránt, s huszadik születésnapjára - a BBC-ben megindult kísérletek nyomán - sikerült berendezésének 2,5x3,8 centiméteres képernyőjén képet előállítania.

1935-től az amerikai CBS hírközlési társaság munkatársa lett. Csakhamar felhagyott a mechanikus televíziós berendezésekkel folytatott kísérleteivel és az elektronikus (képcsöves) televíziós készülékekkel kezdett foglalkozni. 1940-ben mutatta be a gyakorlatban használható színes televíziót. A következő években még számos találmánya született: a belső szervek vizsgálatára kidolgozta egy mini orvosi televízió alkalmazásának elméletét és gyakorlatát, a II. világháború alatt pedig haditechnikai feladatokat - például a német radarok zavarásának problémáját - oldott meg. A háború után tökéletesítette a színes televíziós eljárást: olyan, egész Észak-Amerikára kiterjedő hálózatot dolgozott ki, amely lehetővé tette a sajtóanyagok, és a filmszínházak műsorának továbbítását, és amelynek segítségével megvalósíthatta a széleskörű televíziós távoktatást.

Nevéhez fűződik a "hosszan játszó" (LP), azaz a mikrobarázdás hanglemez kifejlesztése 1948-ban, valamint a televíziós képek "konzerválási" eljárásának kidolgozása, amelyet a videomagnó elterjedéséig alkalmaztak. Az 1970-ben útnak indított Apollo-10 űrhajó utasai az általa készített miniatürizált színes tv-felvevőt használták a holdexpedíció során.

1954-től 1972-ig a CBS igazgatója volt, majd megalapította saját Goldmark Communication Cooperation nevű cégét. 1977-ben Jimmy Carter elnök az amerikai tudósoknak kijáró legmagasabb tudományos kitüntetéssel (National Medal Science) ismerte el munkásságát.

Az sors furcsa fintora, hogy Goldmark maga egy műszaki találmány, az automobil áldozata lett: 1977. december 7-én kocsiját vezetve szenvedett halálos balesetet.