山西是人類和華夏文明發(fā)祥的最早起源地和中心區(qū)域之一。考古表明，遠(yuǎn)古時代，山西南部是人類初曙的起源地。運城垣曲縣“世紀(jì)曙猿”化石的發(fā)現(xiàn)，把類人猿出現(xiàn)的時間向前推進了1000萬年。考古還表明：最早約在180萬年以前的舊石器時代早期，原始人群就在山西晉南地區(qū)繁衍生息，其中運城芮城縣西侯度文化遺址發(fā)現(xiàn)的火燒骨，把我國范圍內(nèi)發(fā)現(xiàn)的人類用火歷史向前推進了100萬年；約在10～2萬年以前的舊石器時代中期，在山西汾河兩岸和大同、朔州一帶，已經(jīng)出現(xiàn)了比較集中的原始人群和村落。進入新石器時代，約在7000年前的新石器時代中期，山西南部的農(nóng)業(yè)、畜牧業(yè)和手工業(yè)已達到相當(dāng)發(fā)達的水平；約在4500年前左右的新石器時代晚期，山西南部已經(jīng)成為當(dāng)時諸多邦國的中心。史傳“堯都平陽（今臨汾堯都區(qū)），舜都蒲坂（今運城永濟市西南），禹都安邑（今運城夏縣西北）”，記載的是新石器時代晚期中華民族最早的英雄們在汾河下游創(chuàng)業(yè)建都的歷史。今臨汾市堯都區(qū)南部有堯廟、東部有堯陵，運城市鹽湖區(qū)北中部有舜帝陵廟。《禹貢》載夏禹治水“導(dǎo)河積石，至于龍門”，龍門又叫禹門口，在今山西河津市西北和陜西韓城市東北一帶。近年來，對臨汾襄汾縣陶寺遺址新的發(fā)現(xiàn)和研究成果表明，這里是帝堯都城所在地，也是最早的中國所在區(qū)域。這使大致在距今4500年前后我國史前傳說的堯舜禹時代由傳說成為信史，中華5000年文明史由此得到證實。 

　　約公元前2070年，禹去世后，其子啟繼位，建立了中國歷史上第一個世襲的氏族奴隸制的夏王朝。它的建立標(biāo)志著中國古代原始公社的解體和奴隸社會的開始，開啟了中華文明發(fā)展的新紀(jì)元。夏朝早期的統(tǒng)治中心在今山西晉南夏縣一帶，后隨著地域擴大，統(tǒng)治中心才轉(zhuǎn)入河南豫西一帶。今夏縣東下馮遺址是重要的夏墟。 

　　商朝時，山西南部在其“邦畿千里”之內(nèi)，其余地方則散布著十幾個方國部落。今運城垣曲縣古城南關(guān)和夏縣東下馮等地發(fā)現(xiàn)有商代前期完整城址，以及運城平陸縣和長治長子縣等地出土的商代早期青銅重器，表明這里是商王朝的經(jīng)略要地。 

　　西周初期大規(guī)模分封諸侯，山西中南部為十余個諸侯的領(lǐng)地，其中主要諸侯國是晉國。春秋時期，晉國發(fā)展強大，逐步兼并了周邊小國，成為春秋五霸之一。晉國極盛時期的疆域，大約包括今山西中南部、河北西南部、河南西北部和陜西東部，設(shè)置有50余縣，其中山西境內(nèi)有10余縣。晉國前期國都在翼(今臨汾翼城縣東南),后期遷都于新田(今臨汾侯馬市)。晉國是郡縣制的起源地，后來秦將這種制度推廣向全國。在今臨汾曲沃縣建有晉國博物館，陳展著考古發(fā)掘的晉國“曲村——天馬遺址”的文化歷史；在今臨汾侯馬市建有晉國古都博物館，陳展著晉都新田考古發(fā)掘的文物及其文化歷史。 

　　公元前453年，晉國卿族趙、魏、韓三家三分晉國，史稱“三家分晉”。趙、魏、韓三分晉國，成為實際上的三家諸侯國。在山西，趙國轄中部、東北部、東南部少部，魏國轄西南部、東南部少部，韓國轄東南大部和西南少部。起初，趙國的都城在晉陽(今太原晉源區(qū)東北)，韓國的都城在平陽(今臨汾堯都區(qū))，魏國的都城在安邑(今運城夏縣北)，后來隨著疆域的擴大移向河南、河北。公元前403年，東周天子正式承認(rèn)趙、魏、韓三家為諸侯，中國歷史由此開始進入封建社會的戰(zhàn)國時期。齊、楚、燕、韓、趙、魏、秦為戰(zhàn)國七雄，山西分屬趙、魏、韓三國領(lǐng)地。 

　　公元前221年，秦統(tǒng)一六國后，定都咸陽（今陜西咸陽東北），建立了中央集權(quán)制度，地方實行郡縣制，把全國劃分為36郡，后又不斷增設(shè)到40余郡。今山西及周邊河北、內(nèi)蒙一帶為河?xùn)|、太原、上黨、雁門、代、云中6郡分轄，其中代、云中2郡治所不在山西，山西境內(nèi)置有70余縣。漢代時基本沿襲秦代郡縣制，地方實行州郡縣制。西漢（都長安，今陜西西安西北）版圖極盛時，全國劃分為13州。今山西及周邊陜西、河北、內(nèi)蒙一帶為并州、幽州、司隸州（京畿長安范圍）3州領(lǐng)屬，并歸太原、上黨、雁門、西河、代、河?xùn)|6郡分轄，其中西河、代2郡治所不在山西，山西境內(nèi)置有90余縣。東漢（都洛陽，今河南洛陽東）地方建制基本沿襲西漢。西漢末東漢時期，北方少數(shù)民族匈奴、羌、鮮卑逐步內(nèi)遷進入山西，并發(fā)展強盛起來。到東漢中期，山西北部、中部、西部成為多民族聚居地區(qū)。 

　　魏晉南北朝初期的三國時期，今山西全境屬魏國（都洛陽，今河南洛陽東），境內(nèi)匈奴人散居分布在并州茲氏(今呂梁汾陽市)、祁(今晉中祁縣)、蒲子(今臨汾隰縣)、新興(今忻州忻府區(qū))、大陵(今呂梁文水縣)等地。此外，在山西境內(nèi)今長治武鄉(xiāng)縣還居住著羯族，今忻州代縣和大同還居住著鮮卑族拓跋部。山西境內(nèi)的三個少數(shù)民族與居住在陜、甘一帶的氐、羌族，史稱“五胡”。西晉（都洛陽，今河南洛陽東）末年，公元 304年匈奴酋長劉淵起兵左國城（今呂梁離石區(qū)）建國“漢”，不久遷都平陽(今臨汾堯都區(qū))，建立北方第一個少數(shù)民族政權(quán)。隨后其子劉聰打下長安（今陜西西安西北）滅西晉，由此開始中國歷史上一百多年的“五胡十六國”割據(jù)一方的局面。“十六國”，包括前涼、后涼、南涼、西涼、北涼、前趙、后趙、前秦、后秦、西秦、前燕、后燕、南燕、北燕、夏國、成漢等。在此期間，山西境域為劉淵族侄劉曜創(chuàng)建的前趙（先都平陽、今臨汾堯都區(qū)，后遷都長安、今陜西西安西北）、羯族首領(lǐng)石勒創(chuàng)建的后趙（先都襄國、今河北邢臺，后遷鄴、今河北臨漳西南）、鮮卑族首領(lǐng)慕容皝創(chuàng)建的前燕（先都龍城、今遼寧朝陽，后遷都薊、今北京城西南，后再遷鄴、今河北臨漳縣西）、氐族首領(lǐng)苻洪創(chuàng)建的前秦（都長安，今陜西西安西北）、氐族貴族姚萇創(chuàng)建的后秦（都長安，今西安西北)、鮮卑族首領(lǐng)慕容泓創(chuàng)建的西燕（先都長安、今陜西西安西北，后遷都長子、今山西長治長子西）、鮮卑族首領(lǐng)慕容垂創(chuàng)建的后燕（先都中山、今河北定州，后遷都龍城、今遼寧朝陽）、匈奴部族首領(lǐng)赫連勃勃建立的夏國（都統(tǒng)萬城，今陜西靖邊縣東北）、鮮卑族首領(lǐng)拓跋珪創(chuàng)建的北魏（先都盛樂、今內(nèi)蒙古和林格爾北，后遷都平成、今大同市）等國的領(lǐng)地。公元439年，北魏統(tǒng)一黃河流域，結(jié)束了北方四分五裂的局面。公元494年，北魏孝文帝把都城由平城遷到洛陽（今河南洛陽東）。公元534年，北魏分裂為東魏（都鄴，今河北臨漳縣西）、西魏（都長安，今陜西西安西北），山西絕大部分為東魏領(lǐng)地，南部余部為西魏領(lǐng)地。后來，北齊取代了東魏，北周取代了西魏。公元577年北周滅北齊，山西統(tǒng)一為北周領(lǐng)地。從劉淵起兵一直到北周滅北齊的270多年間，山西境內(nèi)平陽（今臨汾堯都區(qū)）、平城（今大同市）、晉陽（今太原市晉源區(qū)東北）都是全國很重要的政治軍事中心。其中，平陽為“漢”國、前趙的都城，平城為北魏的都城，晉陽為東魏和北齊的“別都”“陪都”。 

　　隋朝建立和統(tǒng)一全國后，起初在地方取消了郡一級建制，在要沖諸州設(shè)總管府，以州刺史兼總管，統(tǒng)領(lǐng)鄰近數(shù)州。山西境內(nèi)并、代、隰、朔4州設(shè)總管府。后來隋又改州為郡，地方實行郡縣兩級制，最多時全國置190郡。山西及周邊河北、內(nèi)蒙一帶為太原、定襄、馬邑、雁門、婁煩、西河、離石、上黨、長平、臨汾、龍泉、文城、河?xùn)|、正平14郡分轄，其中14郡治所均在山西，山西境內(nèi)置有90余縣。隋代，曾于北魏時期興起于蒙古高原的突厥汗國其疆域已抵今山西與內(nèi)蒙交界地帶，并數(shù)次入侵山西雁門關(guān)以北地區(qū)。