海林市历史悠久,自旧石器晚期起,就有人类生息繁衍,商周时期就是中原版图国,向中原纳贡。有资料和文献记载,商周时,曾向中原进贡石弩、貂皮、海东青等名贵物品。汉晋以来,虽多以土著民族自治,但多受中原册封,汉时设郡,唐宋袭承汉制,明代设卫和司,明朝中叶以后设都督,皆是中原王朝封爵。清代满族入主中原,这里便设昂邦章京,宁古塔将军等衙门,成为东北长白山以北,黑龙江流域及库页岛一带大片疆域的军政中心。
海林市原名海林县,系由新海、五林二县合并时,各取原县名称的后一个字而得名。清代,属宁古塔副都统辖区。清末民初,先后隶属宁安府和宁安县管辖。1945年“九三”抗日战争胜利后,1946年8月15日,将宁安县北部新安镇、海林、横道河子、山市等地区划出,设置新海县,县政府驻海林。初隶绥宁省,后改隶牡丹江专区、牡丹江省,再改隶松江省。1948年10月4日,松江省政府决定,将五林县与新海县合并为海林县,县政府驻牡丹江市内,由松江省直辖。1954年8月,松、黑两省合并后,由黑龙江省直辖。
1956年3月6日,国务院决定,撤销海林县,将原海林县所属区域分别划归宁安县、林口县和牡丹江市。1962年10月20日,国务院决定,恢复海林县,将原海林县划给宁安县的海林、横道河子、长汀、海南、石河、新安、旧街7个乡镇和原海林县划给林口县的柴河、二道河子、三道河子3个乡镇划为海林县的行政区域。县人民委员会驻海林镇,隶属牡丹江专区管辖。1983年9月3日,牡丹江地区撤销后,划归牡丹江市领导。1992年7月28日,国务院批准,撤销海林县,设立海林市(县级)。由牡丹江市代管。
1992年末,海林市位于黑龙江省东南部,张广才岭主脉东侧。是黑龙江省主要林业基地之一。市境西以张广才岭主脉与五常县、尚志市分界,北与方正县、林口县毗连,东与林口县、牡丹江市接壤,南与宁安县为邻,西南与吉林省敦化市以分水岭为界,全市总面积9570平方千米,辖7镇、5乡,市政府驻地海林镇。(以上摘自《黑龙江省志•地名录》,有改动)
1996年,海林市面积9877.8平方千米,辖7镇、5乡:海林镇、长汀镇、柴河镇、横道河子镇、山市镇、二道河子镇、新安朝鲜族镇、旧街乡、石河乡、新合乡、三道河子乡、海南朝鲜族乡。市政府驻海林镇。
2001年乡镇区域化调整,旧街乡合并到长汀镇。
2005年,海林市辖8个镇、1个乡:海林镇、长汀镇、横道镇、山市镇、柴河镇、二道镇、新安朝鲜族镇、三道镇、海南朝鲜族乡。境内还有大海林林业局、海林林业局、柴河林业局等。
2009年,《黑龙江省民政厅关于调整牡丹江市部分行政区划的批复》(黑民区[2009]121号):同意将海林市所辖的海南朝鲜族乡整建制划归牡丹江市西安区管辖(2010年5月19日正式实施)。