A filmbéli Almásyval ellentétben a valóságos nem volt gróf. A régi, patinás Almásy-családban ugyan volt gróf bőven, de Almásy László a köznemesi ágból származott, és elindult ugyan annak az ágnak a grófosítási folyamata is, de elakadt. IV. Károly, amikor megpróbálta visszaszerezni a magyar trónt, az ebben őt buzgón támogató Almásyt mindenesetre grófnak szólította, ezért is vélték sokan annak, noha ő mindig hangsúlyozta, hogy nem az.
Ha köznemesnek is, de a legjobb helyre született 1895-ben. A család borostyánkői (Bernstein, Burgenland) kastélyába, melyet a világlátott és a földrajz, az utazások, a felfedezések iránt szenvedélyesen érdeklődő nagypapa vett meg, és ott tartotta remek könyvtárát, melynek ötezer kötetéből igen sok szólt utazásokról, földrajzról, meteorológiáról, csillagászatról. Rendszeresen érkeztek Borostyánkőre a legkorszerűbb térképek, atlaszok, a német földrajzi folyóiratok. Almásy László apja, Almásy György is nagy utazó, Ázsia-kutató hírében állott. Volt kitől örökölni a fölfedező kedvet és kalandvágyat. A gyermek Almásy igen sokat időzött a kastély könyvtárában, falta a könyveket. A tankönyveket kevésbé, az iskola nemigen érdekelte, előfordult, hogy három tárgyból is bukásra ált, a magatartása pedig inkább példátlan volt, mint példás. A grazi gimnáziumból például azért kellett távoznia, mert a biciklijével elütötte az igazgatót. Soha nem is szerzett semmilyen diplomát.
Tízéves korától dohányzott, tizennégy évesen egy újságban talált rajz alapján vitorlázó repülőgépet épített magának. A próbarepülés tízméteres zuhanással, bordatöréssel és egyéb sérülésekkel végződött.
