唐玄宗天宝十四年（公元755年），安史之乱爆发，正值鼎盛时期的大唐迎来了毁灭性的灾难。唐玄宗仓皇入蜀避难，同时急调边防军勤王，其中就有驻守在河西走廊地区的河西边军。
河西地区的边防军同时还承担着另一个重要的任务——防御唐朝西部的强邻吐蕃。公元八世纪中叶，吐蕃已经成为一个强大的区域性政权，长期与唐军在大唐西陲对抗。此时吐蕃趁着大唐边防空虚，出兵占领了陇右、河西及安西、北庭等大片领土，贞元二年（公元786年），敦煌，这座大唐在河西的最后一处重镇也难免沦陷的命运，从此唐廷再无来自河西走廊的音讯。“天可汗”李世民树立起的威望已不复存在，各族势力都开始争相蚕食大唐的边疆地区。
吐蕃占领了敦煌60余年（786～848年），他们在这里强制推行吐蕃化政策，逼迫沙州人民接受吐蕃落后的生产与生活方式，使汉族民众饱受外族侵凌的苦难。唐朝之前在河西树立的各种制度被完全摧毁，民众被其强制组编到他们的军民部落中，使得各族百姓大量沦为吐蕃奴隶。据《资治通鉴.唐纪六十四》记载：
（吐蕃）大掠河西鄯、廓等八州，杀其丁壮，劓刖其羸老及妇人，以槊贯婴儿为戏，焚其室庐，五千里间，赤地殆尽！
诗人张籍有诗记录当时河西的景象：
陇头已断人不行，胡骑夜入凉州城。
汉家处处格斗死，一朝尽没陇西地。
驱我边人胡中去，散放牛羊食禾黍。
去年中国养子孙，今著毡裘学胡语。
谁能更使李轻车，收取凉州属汉家。
——《横吹曲辞•陇头》
但生活在大唐故土的人民并没有忘记大唐，依然在吐蕃的统治下顽强地生存下去，等待大唐的“解放”。唐使刘元鼎曾到过河西走廊东端的兰州，此时民生已经有了一定的恢复，他记载到：这里“地皆粳稻，桃李榆柳岑蔚，户皆唐人”，父老见到唐使后问道：“问天子安否？”、“见使者麾盖，夹观。致龙支城，耋老千人拜且泣……言：‘顷从军没于此，今子孙未忍忘唐服，朝廷尚念之乎？兵何日来？’言已皆呜咽。”（《使吐蕃经见纪略》），闻之使人泪下。
到了公元842年，吐蕃赞普朗达玛被一名僧侣刺杀。吐蕃的内部矛盾迅速爆发，特别是在在继承人的问题上，一派认为应该拥立年幼的亲生儿子，另一派认为应该拥立年长的干儿子，矛盾逐步激化为内战，经历这次内战以后，吐蕃政权一蹶不振，再也没有恢复过来。
对于河西地区的唐人来说，这是一次绝好的机会。“汝辈本唐人，吐蕃无主，则相与归唐”。敦煌地区的唐人首先发动起义，首领则是赫赫有名的张议潮。唐德宗贞元十五年（799年），张议潮出生于沙州（今甘肃敦煌），他的父亲是汉人、母亲是粟特人。敦煌张氏世代为沙州州将，是敦煌的鼎族豪宗。张议潮亲身经历了吐蕃的残暴统治，对吐蕃极其愤恨，虽然出生于沦陷后的大唐故土，却一直向往着回归大唐。
大中元年（847年），唐军已经开始对吐蕃的军事行动，到次年已经收复了大量土地，唐军的胜利鼓舞了河西人民，张议潮于大中二年（848年）率众在沙州发动了起义，起义获得胜利，他们终于赶走了吐蕃人，《新唐书.吐蕃传下》记载：“众擐甲噪州门，汉人皆助之，虏守者惊走。”。吐蕃军败退之后，又调集周边兵力，将沙州包围。张议潮率城中兵马出战，击溃吐蕃，起义军在沙洲站稳了脚跟。
张议潮先后攻占了瓜州、沙州、甘州、肃州、伊州、西州等地，推翻了当时吐蕃贵族对沙州持续60年的统治，在张议潮手中归义军势力基本达到了极盛，“西尽伊吾，东接灵武，得地四千余里，户口百万之家”。
在占领瓜沙二州后，张议潮迫不及待地想要告诉大唐，安史之乱百年后，河西仍有大唐人在，但通往东方的必经之路的肃（酒泉）、甘（张掖）、凉（武威）三州尚在吐蕃手中。为增加成功的概率，张议潮派出了十队使节。他们身上秘藏上奏蜡丸，化妆为各色人等，取不同的道路向东进发。
然而张议潮所派十队使者，只有敦煌高僧悟真所率的一支绕过大漠，到达了天德军（今内蒙古乌拉特前旗）。至大中四年（850年）正月，才通过天德军防御使李丕奏闻唐廷，前往长安。唐宣宗大力褒奖张议潮等人的忠勇和功勋，擢升他为沙州防御使。下诏称赞：“抗忠臣之丹心，折昆夷之长角。窦融河西之故事，见于盛时；李陵教射之奇兵，无非义旅。”
公元851年，张议潮再次派遣使者入长安，派遣其兄张议潭携归义军收复的瓜﹑沙﹑伊﹑西﹑甘﹑肃﹑兰﹑鄯﹑河﹑岷﹑廓等十一州的地图﹑户籍奉献给朝廷，这表明河西地区又重为唐有。朝廷决定在沙州置归义军，以张议潮为归义军节度使﹑十一州观察使。
大中十二年（858年）八月，张议潮命其侄张淮深率蕃、汉兵七千人开始东征。经过三年的血战，在唐懿宗咸通二年（861年）克复凉州，并表奏朝廷。至此，陷没百余年之久的河、湟故地已全部收复。
早在张义潮归顺之初，朝廷已是喜忧参半，大唐轻易得到了沦陷半个多世纪的故土，却又不想再出现一个强大的藩镇。公元863年，懿宗把收复区重新划分为三个防区，即归义军、凉州和天雄军，分别由三个节度使管辖，这意味着归义军的地盘被分割，并被限制在凉州以北，凉州城则驻守着唐军调来的2500人的军队，归义军对中央可能的威胁被大大削减。
咸通八年（867年）二月，张议潮在长安留为人质的兄长张议潭去世，张议潮前往长安，此时他已经是69岁高龄的老人。张议潮入朝后，被授为右神武统军（一作左神武统军），赐给田地，并于宣阳坊赐宅第一区，加官为司徒。张议潮被命令在长安永久居住，而他也心甘情愿以此向朝廷表明忠心。《敕河西节度兵部尚书张公德政之碑》记载：“先身入质，表为国之输忠；葵心向阳，俾上帝之诚信。”
张议潮统军出行图——莫高窟第156窟
张议潮入京后，遥领河西节度使，以张议潭之子张淮深担任留后。咸通十三年（872年）八月，张议潮在长安溘然长逝，享年七十四岁，获赠太保。
张淮深继位后率领麾下汉人、吐蕃、温末、吐谷浑等民族击溃南下的回鹘，并在沙州及西桐等地连续击败回鹘，擒获回鹘王子。到了乾符三年（876年），归义军内部的继承问题使归义军消耗了大量精力，于是西州回鹘趁机攻陷了张淮深所领的伊州（今新疆哈密），张淮深的势力下降。归义军的内乱使周边少数民族趁虚而入，甘州被回鹘攻占，占据肃州的龙家也不再听从归义军的号令。凉州因有甘、肃二州相隔，实际上也脱离了归义军的控制。
公元907年，朱温篡唐，唐朝走向了灭亡，公元910年，张义潮的孙子张承奉建立了"西汉金山国"，但很快被回鹘击败，成为了回鹘的附庸。
后期归义军仅占有瓜沙二州
北宋乾化四年（公元914年），沙州的另一个大族曹氏家族中的曹仁贵（后更名曹议金）取代了张承奉，恢复了归义军称号。曹氏历经七代九十余年，使得敦煌地区从动荡中稳定下来，与周边民族和平相处，通过联姻换取了和平稳定。北宋咸平五年（公元1002年），归义军内部又发生兵变。此时的归义军已经不堪一击，最终到了景祐三年（公元1036年），西夏李元昊灭亡了归义军政权，最后一代归义军节度使曹贤顺向西夏投降，归义军正式消失在历史长河中。
