象棋的形成与秦朝末年的“楚汉相争”有着密切的关系。象棋棋子分红、黑两种颜色，帅方 红色，将方为黑色，俗称“红帅黑将”，这也有其出处。
在象棋最早形成的时候，人们一般把红帅代表刘邦，黑将代表项羽，即红方代表刘邦的军队， 黑色代表项羽的军队。传闻，刘邦率领义军在芒砀山起义，并亲自在山上斩死一条大白索，这就是民间流传很久的“高祖斩蛇”的故事。传说，刘邦将大白蛇斩死后，一位老妇人哭着找上山来，说他的儿子就是白帝的儿子，化作白蛇上山游玩，被亦帝的儿子杀死了，她伤心极了。说完，老妇女倏地不见，这个故事意味着当时的秦朝就要被新的王朝所替代。 自从斩杀白蛇后，刘邦便自称是赤帝的儿子，也就特别喜欢红色，连军中的大旗都改为红色。
而项羽则喜欢黑色，他穿的衣服，披挂皆为黑色，就连骑的鸟骓战马也都是黑色的。 “红帅黑将”大概由此而来。 将帅不能照面的依据凡是会下象棋的都懂得，双方将帅不能直接见面，规则这样规定是有依据的。 据有关史书记载，在楚汉大战中，汉王刘邦曾在广武山上对着西楚霸王项羽破口大骂，结果被楚兵用箭射中，差点丢了性命。从象棋的形成和发展来看，是古代战争在棋盘上的再现。而棋盘上 的“楚河汉”，是根据楚汉相争而命名的。对弈中，将帅如果同在一条直线上，中间又不隔着任何棋子情况下，规则规定走子的一方获胜，这就好比先动手的一方把对方的将（帅）射中了。这就是将帅不能照面的依据。
黑色代表汉，红色代表楚。
关于西汉是否尚黑其实是有争议的，汉超推崇的颜色应该从秦朝来说起，《始皇本纪》记载“始皇推终始五德之传，以为周得火德，秦代周德，从所不胜。方今水德之始，改年号，朝贺皆自十月朔。衣服锦旗节旗皆上黑。”可见，秦朝尚黑，为水德是没有争议的，那么根据“五德”更替的思想（比如金德克木德，故商代夏；火德克金德，故周代商；水德克火德，故秦代周），土德克水德，故汉代秦，应尚黄色，但是又有汉承秦制的说法，即汉朝仍然尚黑色，比如汉代初期的衣服尚黑。
然而楚国尚红（或者说尚赤）则是没有什么争议的，楚人自称为火神祝融的后裔，图腾为凤鸟，比如“不鸣则已一鸣惊人”说的就是凤鸟，楚人尚赤是可以完全确定的。因此，黑色为汉，红色为楚。
我国象棋源远流长，历史悠久。但究其源头，众说纷坛，尚难断论。战国时期宋玉所著《楚辞》招魂篇里有“蓖蔽象棋，有六博些”说法，提到了象棋。从那时到现在已有两千多年了。但当时的“象棋”指的是象牙做的六博棋，不是现代形制的象棋。
六博棋由两人对弈，每方六子，有枭、卢、雉、犊、塞五种棋子，前四种棋子双方各一枚，最后一种棋子“塞”各两枚。枭为首，即主帅。《说苑》载有“雍门子周以琴见孟尝君说：足下燕居则斗象棋而舞郑女”。可见那时在达官权贵和士大夫中已流行下象棋，甚至影响到门客了。北周武帝（公元561-578年）曾制《象经》，并集合百官在朝廷进行讲解。文学家庾信曾作《象棋经赋》及《进象棋经赋》。那时期，“象戏”在宫廷和文人中很盛行，但也不是现代形制的象棋。
唐代以前，象棋只有将、车、马、卒四个兵种，唐代以后，火器开始用于军事。据《唐书》记载，以机发石为攻城，号将军炮。所以那时的炮字还是“石”为偏旁的。军事上火器的发展给模仿战斗场面的象棋带来了新的发展，使象棋逐渐改革成为拥有将、车、马、炮、士、象、卒七个兵种，这就和现代象棋的兵种基本相似了。唐《续藏经》载：“昔神农以日月星辰为象，唐相牛僧儒用车、马、将、士、卒加炮，代之为机矣。”由此可见，唐牛僧儒的时代以前，象棋没有炮，加炮以后，才成现代象棋的雏型。但牛僧儒《玄怪录》中岑顺梦幻所见和挖掘古墓所发现的象棋，只有王、上将（象）、军师（士）、辎车、天马、六甲（步卒）等六个兵种，还没有炮。其时为唐代宗宝应元年，故后人称之为“宝应象棋”。
宋晁无咎（公元1053-1110年）的“广象棋”，棋子32个，与现制象棋的棋子总数相同，棋盘纵横各11路，比现制象棋盘大一点。广象棋把两炮放在车的外侧，棋子名称和着法与现制象棋相同，但没有说明棋盘中间有无河界。有河界的象棋盘见于北宋末。北宋末女词家李清照的《打马图经序》中刊有打马戏和象棋两用的局戏图，它所表示的象棋盘图形与现在的完全一样。另外宋颢关于象棋诗词中有“河外尖斜步卒轻”地描述。由此可见，北宋前的象棋盘没有河界，棋盘有河界的象棋是在北宋末定型的。
象棋子现在是平面字形的，但早先曾是立体象形的。《玄怪录》中所述的出土古墓，前有金床戏局，列马满枰，皆金铜成形，说明唐朝“宝应象棋”的棋子是铜质象形立体子。后来，北宋古墓出土的象棋文物中，见有圆形铜质的平面棋子，直径大小不等。正面有车、马、炮、将、士、象、卒字样；反面则是各种不同形状的图文。将是坐着的将军，腰悬长剑；士是女将，上着戎装，下穿裙子；象是一只大象；车是带有飞轮的辎车；马是飞跃的马；炮是飞石；卒是手执长矛的士兵。以后，图枰的棋子逐步为字形棋子代替。宋徽宗赵佶的《宫词》有“白檀象戏小棋枰，牙子金书字更明”，说的就是白色的檀木棋盘和象牙制的金书字形棋子。
第一个以比较完整的篇章来描述象棋着法的是南宋诗人刘克庄。他的长达240字的五言古诗《象弈》中，有“小艺虽难精，上智有未解。君看桔中戏，妙不出局外。屹然两国立，限以大河界。三十二子者，一俱变态。……远炮勿虚发，冗卒要精汰。……昆阳以象奔，陈涛以车败。匹马郭令来，一士汲黯在。” 等句，形象地描写了象棋的棋盘、棋子和着法。和刘克庄同时代但稍晚些的著名学者陈元靓，在他晚年所编的象棋百科全书《事林广记》中，辑集了一些棋势和两个全局着法，这是见于记载的最古棋局。
象棋中每个棋的数量则是依据了古代政治体系的演变逐渐转化过来，而兵的数量则主要为应棋局的布置。
