出于自身安全和维护皇权的考虑，历朝历代的皇帝都非常注重亲军的建设，往往把最优质的兵源、最精良的武器、最忠心的将领编入御林军。所以，理论上来说，御林军的战斗力应该是天下最强的，可恰恰相反，除了开国初期，在王朝的中后期，由于缺乏战斗的锤炼，御林军经常会成为纨绔子弟、市井无赖的聚集地，根本谈不上什么战斗力。
宋太祖赵匡胤以军功起家，靠兵变夺得帝位，当然十分重视亲军的建设，他甚至以强壮的士兵作为“兵样”到各地挑选兵源，把全天下的精兵都收录到天子亲自掌握的禁军中。为了巩固皇权，他还建立了殿前司、侍卫马军司、侍卫步军司，合称“三衙”，来管理37万禁军，不仅护卫皇宫安全，更是宋军的绝对精锐、野战主力。
可到了北宋末年，“三衙”掌管的禁军虽然有百万之众，驻扎在开封附近的也有几十万人马，但由于承平日久，毫无战斗力，竟然被数万金兵攻破了开封城，导致了北宋的覆灭。南宋初期，岳家军、韩家军、张家军、吴家军等几支主力部队都是主将自己带着打出来的，历经百战，所以战斗力异常强大。而宋高宗赵构为了自身安全，筹划重建禁军和“三衙”司，刚开始时是以野战部队为主改编而来，所以战斗力尚可。
首先是绍兴五年,宋高宗将神武中军改为殿前司军，一开始只有5000人,在宋高宗的一力维护之下不断扩充。到了绍兴十八年,扩充到12个军，7万余人，为诸军之冠。
绍兴七年，宋高宗又重组了侍卫马军司,一开始虽然有6个军的建制，但兵力只有6000人,到绍兴三十一年时，兵力扩充到3万人。
绍兴十二年,宋高宗又建立了侍卫步军司,虽有5个军的编制，但只有5000人马，到绍兴二十九年时兵力扩充到2万余人。
以上三军最多时有近13万大军，可以说是当时举足轻重的一支武装力量，宋高宗把他交给了自己最信任的将领杨沂中（有人戏称他是赵构的干殿下）。
杨沂中早年也是一员猛将，隶属于中兴四大将之一的张俊，曾经率兵与金军主力野战正面交锋，也曾多次与金军猛将兀术、韩常等对阵而不落下风，不然也不会进入宋高宗的法眼。但是在南宋的大环境之下,也不得不和秦桧等人同流合污，搜刮壮丁、强抢民女、强取豪夺的事都干过，岳飞就是他出面诱捕的，他还是岳云和张宪的监斩官。宋高宗晚期，杨沂中为了自保，一次就向朝廷捐献70多万贯的财物，据说他光在楚州一处就有4万亩田产（岳飞的全部田产还不到2000亩）。
在这样的长官管理下，“三衙”军的战斗力下滑可想而知，士兵们毫无军纪，只知道祸害百姓，成了地痞流氓的代名词，让人们唯恐避之不及，良家子弟都不愿意进入这支军队。到宋孝宗时，竟然出现了很多空缺，皇帝命令“三衙”招募人员补齐建制，由于无人应募，殿前司竟然直接派兵上街强抓壮丁从军，士兵们也趁机大肆抢劫，让临安的百姓吃尽了苦头。到了宋宁宗时期,“三衙”基本上已经成了土匪的代名词，甚至有大臣上书称“饥寒之士咸愿食其肉而不可得”。
宋孝宗时的隆兴北伐，“三衙军”也参加了。当时大将李显忠率领忠义军作为先锋攻打宿州,由于忠义军以北方流亡人为主,恨透了金人，战斗热情高涨，加之长年争战，战斗力也强。当忠义军攻上城头时, 姗姗来迟的“三衙军”才刚刚赶到城下，为了抢功,这帮土匪竟然在背后向忠义军放冷箭。这样的军队参加北伐，结果可想而知。宋宁宗时期的开禧北伐,又是这群货，竟然让金兵反推到长江边上,逼得南宋把当时主战宰相韩侂胄的人头送过去，还称金朝为父,在增加岁币10万的基础上一次性进献军饷300万两,才议和成功。
到了南宋末年，“三衙”军更是连战场也不敢上了，反倒是边境地区的农民，为了保卫家园，纷纷武装起来对抗蒙古人的袭扰，正是依靠以这些民兵为基础组建的、战斗意志高涨的新军,才堪堪挡住了蒙古人的铁骑，让南宋小朝廷又苟延残喘了几十年。
