公元627年，唐太宗李世民将唐朝所统治的地区划分为十个道（类似于“省”）。以黄河为根据的划分成河南、河北和河东三道。
河南道和河北道几乎以黄河为界。
河南道的治所是汴州（开封），河北道的治所是魏州（河北大名县）。这是中国历史上第一次出现“河南”与“河北”作为省级单位的划分。
公元1279年，元朝统一中国，定都大都（北京）。元朝在地方实行行省制。大致以黄河、长江为界，中下游地区划为河南江北行省，省会开封。
黄河以北则因为靠近首都大都，划归中书省，由中央直辖。
明朝对行省制度做出调整，地方下设17个立布政司（省）。明朝的行省面积相比于元朝普遍缩小。
明朝初期定都南京，但立足未稳，中国北方依然有多路豪强盘踞。
为了防止地方势力，尤其是黄河北岸的地方势力依黄河之险，形成同中央分庭抗礼之势，朱元璋将将黄河北岸的部分土地划为河南布政司（省会开封），形成对北方潜在叛乱势力的震慑。
河南第一次拥有了黄河北岸的土地。
明朝迁都北京之后，作出了新一轮的区划调整。以北京为中心的周边府州县，也随即由明代中央政府直接管辖，并改称“北直隶”，南京所在的地区称为“南直隶”。
北直隶与河南省的边境大致沿黄河的支流——漳河设立。
、
清朝入关之后，依旧定都北京。北京周边从明朝的北直隶省更名为“直隶省”。
清朝时期，河南省与直隶省大致以漳河为界。
晚清咸丰年间，黄河再次改道，夺东汉古道。由渤海湾入海，形成了今天的黄河。
1912年，清朝灭亡。中华民国成立之初原定首都为南京。
北洋军阀统治时期，中国的首都仍是北京。北京和周边依然划归直隶省管辖。
1928年，北伐战争取得初步胜利，南京国民党的军队占领了北京，北洋军阀统治结束。中华民国再次定都南京，北京更名北平，成为中央直辖市。直隶省更名为“河北省”。
自唐朝的“河北道”之后，时隔999年，河北再次以省级单位出现在中国的版图中。
从明朝到民国的600多年，不管是北直隶省、直隶省还是河北省，与河南省的边界都是大致以漳河为界。
1937年全面抗战爆发，中国大片土地沦陷。1944年，豫湘桂战役中国失利。河南重镇郑州、洛阳沦入敌手。
1945年3月，日本在河南占领区设立伪平原省，下辖黄河南、北地区，省会郑州。
1945年8月15日，日本战败宣布投降。伪平原省被撤销。
1949年8月1日，从原河南省北部、山东省西部和河北南部划出一块土地建立平原省。
平原省包括黄河北岸以及运河西岸，面积只有4.7万平方公里，省会设在京汉铁路黄河北段的终点——新乡。
平原省共辖6个专区、58个县和新乡、安阳两个市。全省人口约1619万，是中国面积最小，人口最少的省份之一。
1952年11月30日，裁撤平原省。原平原省的省会新乡以及安阳、鹤壁、焦作、濮阳划给了河南；聊城、菏泽、湖西划归山东，部分县划归河北。
黄河北岸占据河南省的1/4土地，河南成为了全国以山川、河流、湖泊划分的省份中唯一“名不副实”的一个。
