济源市历史悠久,上古时代这里就是夏朝故都,夏代第六代君王少康迁都原,即今济源市区西北部火车站一带。商代济源一带有向国、召国。西周、东周时期,济源一带有原、樊、向、苏、单等诸侯国。春秋战国济源一带先属郑国,后属晋国,再后属韩、魏。秦代(前221-前206)济源境内设轵县。一说属三川郡,一说属河内郡。汉代(前206-220)济源境内设轵县、波县(今裴城一带)、沁水县(今王寨一带)。三国时代(220-280)济源境内设有轵县、沁水县,属魏国河内郡。西晋(281-316)时济源境内有轵、沁水二县,属河内郡。东晋(317-420)时期,济源属前秦。北魏后分为东魏和西魏。济源东部属东魏,境内有轵、沁水二县。西部属西魏,境内设有邵郡。辖苌平县。北周(558-580)和北齐(551-577)时期,沁水县并入轵县,改苌平县为王屋县。隋开皇十六年(公元596年),析轵县北置济源县,大业三年属河内郡。从此有了济源县。唐代(618-907)济源一带政区变化较大,屡建屡废。唐末,济源境内有济源、王屋、河清三县。其中济源属孟州,王屋、河清属河南府。北宋时期,济源境内有济源、王屋、河清三县,属孟州。金时期,济源属金国(1115-1235),设济源、王屋二县。属孟州。元代,王屋县并入济源县,属怀庆路孟州。明清济源县属怀庆府。1913年属豫北道,1914年属河北道,1927年直属河南省,1932年属河南省行政督察第四区至1949年。
1942年7月,豫北道济源县抗日民主政府成立;1943年春,王屋县抗日民主政府成立;1946年,抗战胜利后,抗日民主政府更名为济源县民主政府;1947年7月,撤销王屋县,将王屋县的一、三区划归济源。
1949年8月属平原省,1952年平原省撤销,属新乡专区,1970年,属新乡地区。1975年5月,中共河南省委批准设立济源工区办事处,工区下辖虎岭区(县级)、济源县。1977年5月,中共河南省委决定撤销济源工区办事处,济源县重归新乡地区领导。1986年3月,新乡地区撤销,济源划归焦作市领导。1988年6月,济源撤县建市,实行计划单列,以原济源县的行政区域为县级济源市的行政区域,仍归焦作代管。1997年经国务院批准不再由焦作市代管,由河南省政府直辖(副地级市)。2005年升格为省辖市(按正地级市所有行政管理机构配置)。