《楚辭•招魂》有句雲：「蓖蔽（用於六簙棋的竹制籌碼）象祺，有六簙些。」這大概是「象棋」一語最早的記載；但這裡的象棋是指用象牙做的六簙棋祺子，與現在所說的象祺並不是一回事。
象棋的發明，可能是在南北朝。北周武帝宇文邕著有《象經》一書。他很得意自己的這部著作，因此招來百官，親自給他們講解，並命人作注。可惜這部書早已失傳。從時人和後人的記述中，我們可以約略窺知它是一部講棋道的書，《隋書•經籍志》中將它列於兵書類，和《棋勢》、《雜博戲》等書並列，也可以證明這點。明朝正德、嘉靖年間的學者楊慎在《丹鉛總錄》中說：「周武帝《象經》有日月星辰之象。」也就是說，「象戲」是取象於日月星辰的。那麼，它是如何演化成後世的象祺的呢？英國學者李約瑟認為，這是印度人加工的結果。他認為，北朝象戲有象徵日月的棋子，也有類似屮國象棋「將」、「帥」的棋子；五代、北宋出現的「炮」，他認為最初是表示飄忽不定的彗星的棋子。這種棋戲傳入印度後，在約7世紀時（中國初唐時期）演變成戰爭遊戲；「象」、「馬」、「車」、「兵」四種祺子，是當時印度軍隊的組成部分。經過印度人改造的象棋一面傳回中國，一面經波斯、阿拉伯傳人歐洲，衍生出中國和西方兩大象棋體系。
唐代象棋，已經接近現代象棋的形態；到了北宋，規制多變；南宋以後，逐漸定型，此時的象棋已離最初的日月星辰之象越來越遠。但是，印度、阿拉伯和歐洲人似乎沒有忘記它的天文學含義，都把象棋用於占星術。13世紀的一首拉丁詩，曾把星相符號賦予國際象棋的每一個子。雖然兩個象棋體系在後世的發展中有了很多差異，但其同出一源的標誌還是很明顯的：兵進不退、馬走日、象斜行、將帥或王一步一格等等都是它們的共同點。可以說，國際象棋是東西方文化交流的產物，它凝聚了人類共同的智慧。
而在中唐以後，與現在類似的象棋，逐漸出現在文人記載之中。白居易有《和春深》二十首，其中一首講博弈「兵沖象戲車」一句，說的就是象棋。和白居易同時代的牛僧孺在《玄怪錄》中講述了一個與象棋有關的故事：有個叫岑順的人，獨居野外荒宅之中，夜裡常聽見戰鼓廝殺之聲，出門看時，聲音卻又沒了。某夜，就在他的屋裡，鼠穴化為城門，石臼變作城堡，兩個小人國金象和天那爆發戰爭。他應金象一方邀請觀戰。在軍師的指揮下，金象軍隊進退有致，大敗天那。以後數日會戰，又各有勝負。由於連日觀戰，岑順面色憔悴，他的家人就懷疑他是中了邪，於是將他灌醉，套出了真相。得知了來龍去脈，家人便用鍬鏟在屋裡狂挖。入地八九尺後，地面忽然塌陷，露出一座古墓。墓穴裡有各種陪葬品，更有數百甲胄和一局棋，「列馬滿抨，皆金銅成形」。岑順猛然醛悟：軍師的指揮依據競是象戲規則！
