現在的山東、山西是中國的行政省份，其實在古代，山東、山西指的是特定的地理位置，這兩個「山」也並不一致。
山西的「山」是指太行山，山西東為太行，西為呂梁。電影部曲《人說山西好風光》中唱道：「左手一指太行山，右手一指是呂梁。」太行山是山西與河北的交界，太行山以東是河北而不是山東。
而「山西」作為行政區域，是經歷了它的歷史演進軌跡的。
春秋時期，山西大部分地區為晉國所有，所以簡稱「晉」；戰國初期，韓、趙、魏三家分晉，因而又稱「三晉」。唐代，山西在全國佔據舉足輕重的地位。到五代十國，山西仍然對中國北方的政治、軍事形勢，起著決定性的作用。宋遼時期，山西進一步繁榮，是中國北方經濟、文化的主要發達地區。元代，全國共十一個行省，山西與山東、河北並稱為元朝「腹地」。明代，山西的商業迅猛發展，曾領先全國。
山東的「山」古時有兩個意思，一是指崤山，「山東」即是指崤山以東的廣大地區，即秦國東邊的中原地區。比如《史記》常有山東豪傑如何如何，指的就是這層含義，「坑灰未冷山東亂」即是。
另一個就是太行山。泛指太行山以東的地區，山東省名即來源於此。
山東作為地理名稱始於戰國時期，作為政區名稱則始於金代。元朝置山東道，明朝設山東布政使司，形成與今天山東省大體相同的版圖，大部分縣名沿用至今。清朝正式設山東省，治所在濟南府。
新中國成立後，經過幾次調整，山東省形成了目前的行政區劃。
