随着兼并融合的战争不断发生，中国的版图也随历史格局的变化而发生着改变。与之相应，行政区划也在不断变更，作为地名，山东、山西的相对位置也有了变动。唐朝末年起，开始有人用“山东”专指齐鲁大地，不过还不普遍。
金人占领黄河以北后，在齐鲁大地设山东东路和山东西路，山东才由地区名称变为行政区名称。到了明朝，朝廷初设山东行省，后改为山东布政使司。清朝时设立山东省，山东作为行政区名称定型。位于黄土高原的山西同样历山西东道、山西布政使司，最后定名为山西省。新中国成立之后，山西、山东作为省名也就一直沿用下来。
如今的山东、山西，从中国地图上看并不是相连的，它们中间隔着河北、河南。但是，作为习惯，人们已经接受了这种说法。不过，我们在阅读古书的时候，一定要搞清唐朝以前“山东”“山西”所指地区，不要把它们与现在作为行政区的“山东”“山西”混淆了。