Hafnarfjörður ber nafn sitt af ágætri sjálfgerðri höfn frá náttúrunnar hendi. Hafnarfjörður kemur við sögu fyrir landnám norrænna manna, því að þess er getið að þar hafi Hrafna-Flóki komið á leið sinni aftur til Noregs en Hafnarfjörður er innan landnáms Ingólfs Arnarsonar, fyrsta norræna landnámsmannsins. En það er hljótt um sögu staðarins þar til Englendingar hófu fiskveiðar og verslun við Ísland. Upp úr 1400 varð Hafnarfjörður ensk verslunarhöfn, en kring um 1475 tóku Þjóðverjar að keppa þar við Englendinga, og lauk þeim átökum með því, að Hafnarfjörður varð Hansakaupstaður, og aðalhöfn Hamborgarkaupmanna allt til loka 16. aldar. Þá hófst einokunartimabilið í Íslandsverslun og Hafnarfjörður varð dönsk verslunarhöfn næstu aldirnar.
Efsta myndin er teikning frá 1772 af húsum dönsku einokunarkaupmannanna í Hafnarfirði. Teikninguna gerði enskur listamaður, John Cleveley, sem var í Íslandsleiðangri Joseph Banks (síðar Sir Joseph Banks), en í þessum húsum bjuggu leiðangursmenn frá 31. ágúst til 9. október 1772. – Nokkru fyrir aldamótin 1900 höfðu íslenskir kaupmenn að mestu tekið verslunina í sinar hendur. Það var íslenskur kaupmaður, Bjarni riddari Sívertsen, sem átti drýgstan þátt í uppgangi Hafnarfjarðar á þessum árum. Hann settist að í Hafnarfirði ánð 1793 og rak þar mikla verslun, gerði út mörg þilskip, setti á stofn skipasmiðastöð og hafði skip í förum milli landa. Hann var mikill athafnamaður allt fram á síðustu öld, og hefur vend talinn faðir Hafnarfjarðar.
Upphaflega var Hafnarfjörður fiskimanna þorp, síðan bar mest á verslun og fiskveiðum erlendra manna, en upp úr miðri 19. öld fór verslun að þoka fyrir fiskveiðum, og frá þvi um 1870 hefur vöxtur Hafnarfjarðar fyrst og fremst byggst á sjávarútvegi. Myndin númer tvö ofan frá er líklega tekin um 1876. Þar sem nú er malbikuð Vesturgatan, voru þá stakkstœði saltfiskjar og smábátavör. Lengst til vinstri standa ennþá hin gömlu verslunarhús einokunarkaupmanna, sem nú hafa verið rifin, en bak við þau er gamalt pakkhús, sem ennþá stendur, og fyrirhugað er að verði kjarni Sjóminjasafns Íslands. Við hlið þess er Sívertsenshús, sem nú hefur vend friðlýst og endurbyggt í upphaflegri gerð, eins og sést á næst neðstu myndinni. var reist á árunum 1803 til 1805 af Bjarna riddara Sívertsen. Hann bjó sjálfur í þessu húsi, svo og kona hans Rannveig Filippusdóttir til daudadags 1825, en Bjarni andaðist 1833. Eftir aldamótin 1900, að liðinni skútuöld, tóku vid togarar og línuveiðarar, og þá vex vegur Hafnarfjarðar verulega. Fyrsti togari, sem Íslendingar eignast, var gerður út frá Hafnarfirði frá 1905. Kaupstaðaréttindi fékk Hafnarfjördur 1908.