建安元年发生的大事就是曹操迁都许都，在这一年，其他各方势力都相对平静，唯独曹操的敌对势力吕布、刘备和袁术之间却发生了一系列的争斗。
在刘备接管徐州之后，淮泗地区的形势随之发生了微妙的变化。刘备原为公孙瓒的部将，他与陶谦均为公孙瓒集团，与盟主袁绍为敌，袁绍与公孙瓒暂时实现和解后，由于新任兖州牧曹操之父曹嵩被陶谦部将杀害，引发了曹操对徐州的报复，基于保全徐州的考虑，行将就木的陶谦以厚利为诱饵，将刘备从田楷手下拉拢到自己的阵营里。徐州地缘政治的因素，当陶谦死后，刘备被推举为徐州牧不久，刘备就主动向昔日的盟主袁绍示好，不仅征得相对合法的地位，而且让觊觎徐州的曹操有所收敛。刘备的外交策略虽然取得了一定程度的效果，袁绍承认了刘备，曹操也随之上表汉献帝请求任命刘备为镇东将军、封宜城亭侯。
刘备虽然暂时消除了来自北方袁绍、曹操的威胁，但他的这一新的立场改变了徐州、扬州之间的关系。虽然过去袁术一直也对徐州垂涎欲滴，但毕竟陶谦还是反对袁绍的，从这一点来说，徐州与扬州之间的利益有重合点，一方面，徐州可以作为曹操南下的屏障，另一方面徐州与曹操之间的争斗，又能给袁术创造一些火中取栗的机会，因此，二者之间还没有翻脸，可是，如今就不同了，新任徐州牧刘备采取了一边倒的策略，投靠到了袁绍、曹操的怀抱，这自然就成立袁术的对立面，不能不让袁术有所警觉。
在袁术看来，近在咫尺的徐州本该就是自己的囊中之物，而他刘备不过是个出身低微的无名小卒，又有何德何能坐拥一个富庶的大州？因此，当孙策在江东发展时，袁术并没有太多的精力顾及南方，只是采取了拉拢、羁縻孙策的策略，而将主要精力放在了北面的徐州方向，打算趁刘备立足未稳，一举兼并了徐州。
而此时的徐州又因吕布以及稍后被曹操赶到此地的杨奉、韩暹等人的到来而增加了一些变数。去年，吕布被曹操赶出兖州之后，就投奔了徐州牧刘备。吕布刚见到刘备时，对刘备非常尊敬，他对刘备诉苦说∶“我和你都是边境之人，吕布我见到关东起兵，目的是要诛杀董卓，可是，我杀死了董卓逃到关东，关东诸将竟然没有一个肯保全我的，都想杀我!”吕布请刘备进入卧室，让刘备坐在妻子的卧床之上，命妻子向刘备叩拜，并称呼刘备为弟弟。刘备见吕布语无伦次，只好说些应酬话，内心却非常不快。
刘备迎来吕布，等于是前门迎狼，而袁术很快就率军杀来了，刘备还需后门拒止。
建安元年（公元196年）六月，当汉献帝刚刚经历了曹阳之败、退到闻喜之时，刘备命张飞驻守下邳（今江苏省邳州市），他则亲自率军南下，在盱眙（今江苏省淮安市盱眙县北）、淮阴（今江苏省淮安市淮阴区）一带抵御袁术军的进攻。双方相持了一个多月，在淮阴石亭（今地不详）交手，互有胜负，然而，这一情况很快就发生了变化。
下邳相曹豹原为陶谦的部将，张飞与曹豹不和，杀死了曹豹，下邳城内一片大乱。曹豹的旧部固守军营，不听张飞的调遣，并派人前去召唤吕布；刘备的中郎将许耽也酝酿投靠吕布。还在吕布刚进入徐州不久，就曾给袁术写信，袁术为了诱使吕布进攻刘备，给吕布回信把吕布美美地夸奖了一番，并表示愿意给吕布送去二十万斛米，已经上路，如果还需要兵器以及其他军需物资，你尽管张嘴。”并劝说吕布偷袭下邳。吕布得到袁术书信后不禁大喜，遂率军兵分水陆两路，开始东进。
吕布的军队推进到下邳城西四十里，中郎将许耽深夜派来司马章诳来见。章诳向吕布密报∶“张飞与下邳相曹豹相争，张飞杀了曹豹，城中大乱，各军之间矛盾重重。有一千丹阳兵驻扎在下邳白门"内，听说将军要来，高兴得手舞足蹈，就像获得了新生。将军的军队只管向城西门而来，丹阳军马上就会大开城门，迎接将军的。”当晚，吕布当即下令部队向下邳扑来。果然，等吕布军队来到后，许耽即下令打开了城门。吕布登上白门楼，坐在楼上指挥作战，步骑混合军团一齐放火，大破张飞的军队，张飞落荒而逃。吕布生擒了刘备的妻子以及刘备将领们的家眷。刘备听说吕布占领了下邳，急忙从前线撤军，等来到下邳近郊时，军队却自行溃散了。
刘备收拾残兵败将一路向东南杀来，袭占了广陵（今江苏省扬州市）作为临时落脚之地。稍事休息，刘备又率军与袁术作战，再次被击败，逃于海西（今江苏省东海县南）。在海西驻扎期间，刘备军给养缺乏，陷入困顿，将士们因饥饿而相互吞食，别驾从事糜竺将自己的妹妹送给了刘备做夫人，又拿出家中金银财帛充当军资，还把家中两千奴仆编入军队，情况稍稍好转起来，但尽管如此，刘备还是看到继续待在海西，只能是死路一条，遂向吕布请降——以自己手中的徐州牧印绶换取吕布给自己留下一条生路。
吕布夺占下邳，袁术不费吹灰之力就击败了刘备，遂出尔反尔，就不愿再送给原来许诺要送给吕布的粮食了，惹得吕布大怒，当刘备派人前来求降时，吕布为了壮大自己的实力，与袁术抗衡，就答应了刘备的要求。为了让刘备安心，吕布还特意从下邳派出刺史专用的车马、仪仗前去迎接刘备，并把刘备的妻子、军队交还给了刘备，举办盛大的宴会招待刘备。吕布手下众将对吕布说∶ “刘备屡屡背叛主人，难以豢养，应该早早结果了他。”吕布不听，还将这话告诉给了刘备，刘备心中不安，又想找一个落脚之地，遂向吕布请求移驻小沛（今江苏省沛县），吕布答应了，遂自任为徐州牧，封刘备为豫州刺史。刘备在做了一年半徐州牧后又被赶出了徐州。雪上加霜的是，也就是在此前后，曹操也来挖刘备的墙脚了。
曹操上书汉献帝，称∶“泰山郡界广远，旧多轻悍，权时之宜，可分五县为嬴郡，拣选清廉以为守将。偏将军糜竺，素履忠贞，文武昭烈，请以竺领赢郡太守，抚慰吏民。”按照曹操的意思，是将泰山郡分出赢县（今山东省莱芜市）、武阳县（今山东省郯城县）、南城县（今山东省费县南）、牟县（今山东省莱芜市东）、平阳县（今山东省邹城市西南）五县，组建一个新的郡赢郡，由糜竺担任太守，借此拉拢糜竺，掏空刘备。但曹操的这一阴谋并没有得逞，糜竺没有接受，而是选择了一直追随刘备。
