北宋靖康二年（1127年），大金国终结了北宋在中原的统治。康王赵构逃到应天府称帝，后来定都临安，史称南宋。当时的宋金东边以淮河，西边以陕南秦岭大散关一线为界，因此长江沿岸的城镇成为南宋军队防御的重点。
在与金国的对峙中，南宋始终处于被动防守的状况，其中主要的原因是南宋缺少英明神武的皇帝，他们不思进取，只想偏安一隅。军事上的原因是南方不产战马，造成宋军骑兵弱小，影响了军队的主动出击和机动力，其轻易不敢与骑兵见长的金国军队作战。但是南宋军队还要防御金国入侵，于是利用南方河流纵横，宋军因地制宜发展起强大的水军。
南宋高宗建炎四年（1130年），水师初具规模，编有11支舰队，水军上万人。同年三月在南宋名将韩世忠指挥下的8000水军，于建康附近的黄天荡，击败了南侵的金国大将完颜宗弼率领号称10万的金军。这场战斗金兵虽多，但是北方人不善水战，被南宋水军以少胜多所败。虽然后来金兵反扑，南宋水军吃了些亏，但是黄天荡一战，迫使金兵退回北方，水军为保卫江淮乃至整个南宋发挥了重要作用。
从孝宗乾道年间开始，南宋水军得到了长足的发展，规模逐渐扩大。乾道三年（1167年）朝廷任命知建康府史正志兼沿江水军制置使，自盐官至鄂州沿江南北，及沿海十五州水军悉数归他管辖。其中盐官位于都城临安境内杭州湾北岸，包括了浙西路的防务，足见朝廷对于史正志统帅水军防卫的重要性。淳熙元年（1174年），南宋水军增加到15支舰队，军兵达到21000人。至理宗嘉熙元年（1237年），南宋水军达到最大规模，拥有22支舰队，水军52000人。
宋理宗端平元年（1234年），金国亡于蒙宋联合夹攻之下，随后，对南方虎视眈眈的势力又换成了蒙古。为了应对逐渐吃紧的蒙宋局势，朝廷任命镇江府吴渊兼都大提举浙西沿海诸州军、许浦、澉浦等处战船加强防务。到理宗淳佑五年（1245年），朝廷下诏命令湖南、江西、湖北、两浙制帅漕司及许浦水军，共造轻捷战船千余艘，置游击军壮士三万人，分别准备抵御蒙古军。其他沿江海水军都要建造战船，招募兵丁，以备战事。
蒙古以及后继的元朝，知道水军是短板，就招募大批宋人，还有归降的南宋水军兵将，担任骨干，加强训练水师。后来元朝军队利用南宋朝廷昏庸、奸臣当道、兵无战心之际，最终将南宋水军击败。
偏安一隅的南宋王朝，能够延续一百五十年，南宋水军在其中做出了巨大贡献，在我国水军发展史上也占有一席之地。
