Hajj Khalil al-Banna az egyik, ha nem a leggazdagabb úrként élt a palesztinai brit mandátum területén. Voltak hatalmas földbirtokai, narancsligetei, palotái, 13 felesége, 17 fia és 8 lánya. A nyolcadik, alavita feleségétől, korábban a család szolgálóleányától született 1937 májusában tizenkettedik fia, Sabri Khalil al-Banna – későbbi mozgalmi nevén Abu Nidal -, aki Jaffában, apja fényűző tengerparti palotájában élte élete első, gondtalan éveit. Apjának jó kapcsolatai voltak a helybéli zsidókkal.
Az apa 1945-ben meghalt. A tizenkettedik fiú idősebb testvérei kidobták a palotából és a családból az alacsony származású, ráadásul egy siita szektához tartozó anyját, a fiát pedig a francia misszionáriusok katolikus iskolájából átíratták egy muszlim iskolába.
Az arab államok rátámadtak a megalakuló Izraelre, és a családnak menekülnie kellett az izraeli csapatok elől. Sátorban, a segélyszervezetek kegyelemkenyerén élt a család egy ideig egy gázai menekülttáborban. Ez meghatározó élménye volt az akkor tizenegyéves későbbi tömeggyilkosnak.
A család sok mindent vesztett, de maradt vagyona elég volt ahhoz, hogy Palesztinán kívül újra felépítse magát. A tizenkettedik fiú eljutott a kairói egyetemre, de nem lett belőle mérnök, félbehagyta tanulmányait. Szaúd-Arábiában lézengett a család fekete bárányaként. Villanyszerelőként, festőként kereste kenyerét, aztán egy titkos palesztin szervezetet alakított, amiért a szaúd-arábiai hatóságok börtönbe dugták, majd kiutasították az országból.
