Henry Charles Bukowski Jr. nacque ad Andernach, in Germania, con il nome di Heinrich Karl Bukowski da padre statunitense di origini polacche e tedesche, sergente della Third United States Army, Henry Bukowski, e da madre tedesca, Katharina Fett. Il nonno paterno Leonard emigrò negli Stati Uniti dalla Germania negli anni ottanta del XIX secolo. A Cleveland, Leonard conobbe Emilie Krausse emigrante da Danzica, all'epoca parte della Prussia. Si sposarono a Pasadena. Leonard lavorò come carpentiere, fondando più tardi una sua azienda. La coppia ebbe quattro figli, compreso Henry, il padre di Charles Bukowski. I genitori di Bukowski si conobbero in Germania, dove il padre svolgeva il servizio militare, dopo la fine della Prima guerra mondiale. Ma l'economia tedesca era al collasso, a causa della guerra persa, e così la famiglia si trasferì negli Stati Uniti nel 1923, stabilendosi a Baltimora, nel Maryland. Per sembrare più americani, i genitori cominciarono a chiamarlo Henry. Dopo aver risparmiato un po', la famiglia si trasferì nella periferia di Los Angeles (California) nel 1930, dove viveva la famiglia del padre.

Durante la sua infanzia, suo padre fu spesso disoccupato (erano gli anni della Grande depressione) e, secondo Bukowski, molto violento.Fu anche soggetto alla discriminazione dei figli dei vicini, che lo prendevano in giro per il forte accento e i vestiti tedeschi "da femminucce" che i suoi genitori insistevano indossasse. Durante l'infanzia soffrì di timidezza e solitudine, in seguito aggravate da una forma grave di acne, a causa della quale dovette anche sottoporsi a dolorose cure.

A tredici-quattordici anni bevve per la prima volta il vino, grazie al suo amico William “Baldy” Mullinax (chiamato nei libri Eli LaCrosse), figlio di un chirurgo alcolizzato. “Questo mi aiuterà per tanto tempo”, scrisse in seguito, descrivendo l'inizio del suo amore a vita con l'alcol.

« Se succede qualcosa di brutto / si beve per dimenticare;
se succede qualcosa di bello / si beve per festeggiare;
e se non succede niente / si beve per far succedere qualcosa. »
(Women, Donne)

Dopo essersi diplomato alla Los Angeles High School, frequentò il L. A. City College (università) per due anni, seguendo corsi di arte, giornalismo e letteratura. Mentre studiava là, si associò brevemente con un gruppo di nazisti, il German-American Bund (Amerikadeutscher Volksbund), che prese poi in giro in Panino al Prosciutto. Per un po' frequentò anche gruppi di estrema sinistra.

« Al L.A. City College, poco prima che cominciasse la seconda guerra mondiale, mi atteggiavo a nazista. Distinguevo a fatica Hitler da Ercole e non poteva importarmene di meno. Era soltanto lo stare seduti a lezione e sentire tutte le prediche patriottiche su come dovremmo andar lì e fare del nostro meglio, mi vennero a noia. Decisi di diventare l'opposizione. Non mi prendevo il tempo neppure per informarmi su Adolf, semplicemente sputavo qualsiasi cosa che pensavo fosse malvagia o bestiale. »
(Politics, A sud di nessun nord)

Il 22 luglio 1944, con la seconda guerra mondiale che ancora infuriava, fu arrestato dagli agenti dell'FBI a Filadelfia, in Pennsylvania (dove viveva in quel periodo), con l'accusa di renitenza alla leva e fu tenuto per diciassette giorni in prigione, per non aver dichiarato i suoi spostamenti all'esercito. Sedici giorni dopo non superò un esame fisico-psicologico e fu dichiarato non adatto al servizio militare. In futuro parteciperà ad alcune campagne pacifiste, ma sarà sostanzialmente disinteressato dalla politica: «La differenza tra dittatura e democrazia è che in democrazia prima si vota e poi si prendono ordini, in dittatura non dobbiamo sprecare il nostro tempo andando a votare.»