A régi spanyol nyelvben a pelikánt hívták alcatraznak. Az ott honos barna pelikánokról nevezték el a San Francisco partjaitól 2 kilométerre fekvő, 9 hektáros szigetet Alcatraznak, amelyet később Ördög-szigetnek is neveztek.
A spanyol uralom idején csak néhány kisebb épületet emeltek a szigeten. 1846-ban még a mexikói kormányzó adta oda a sziklát egyik barátjának, hogy világítótornyot építsen rá. De éppen akkor kitört a mexikói-amerikai háború, amelynek végén 1848-ban az Egyesült Államoké lett Kalifornia (is).
1850-ben Millard Filmore elnök elrendelte a stratégiai fontosságú sziget lefoglalását katonai célokra. Felépült a világítótorony (a legrégibb ma is működő világítótorony az USA nyugati partvidékén) és a katonai erődítmény, amelyet katonai börtön céljaira is felhasználtak. A polgárháború idején a déliek támogatóit, hadifoglyokat, kalózokat tartottak itt fogva.
Az erődítmény egészen a szövetségi börtön megalapításáig működött katonai börtönként. Az Új Előre című Amerikában megjelenő kommunista lap például arról tudósított 1925. július 8-án, hogy az Alcatrazba szállították „Paul Crouch és Walter Trumbull elvtársakat”, két fiatal katonát, akiket „kommunista szövetség alakítása” miatt ítélt el a hadbíróság.

Az alkoholtilalom által hatalmasra növelt szeszcsempész ágazat a húszas években óriási bűnözési hullámot indított el, amelyet még magasabbra emelt a világgazdasági válság. A bűnüldözés alacsony hatékonysága hozzájárult az önbíráskodás terjedéséhez és a lincselések elszaporodásához. J. Edgar Hoover kinevezésével új korszak kezdődött az amerikai bűnüldözés történetében. 1932-ben megalakult a tudományos bűnüldözést megalapozó intézet, megerősödött a bűnüldözés szövetségi szintje. A legveszélyesebb bűnözők gyakorta megszöktek a börtönökből, a bűnszövetkezetek vezetői, a maffiák főnökei a börtönökből is irányítani tudták a szervezeteiket.