公元1261年农历九月，阿里不哥经过一番休整，假意归顺忽必烈，带领部队前往和林。等到达和林后，他采取袭击战的方式，击败忽必烈所属的也先哥部，随之占领和林，接着又挥师南下。忽必烈赶忙命令张柔、严忠嗣、张宏等七部汉军与阿里不哥军大战于昔木土脑儿之地。双方激战数日，难分胜负。至冬，阿里不哥率部北撤，忽必烈部南返。第二年春天，阿里不哥带部队进驻阿力麻里地区。由于阿里不哥治军不严，纵兵烧杀抢掠，内部将领互不团结，导致军力日衰。公元1264年春天，阿里不哥部又闹起饥荒，民怨沸腾，兵士四处逃散。阿里不哥被迫无奈，于当年农历七月归降忽必烈，不久后因病死去。

阿里不哥虽然被打败了，但忽必烈还要应对中原汉族军阀李璟的叛乱。李璟原是成吉思汗南侵时，农民起义将领李全之子。李全后来率起义军投降了蒙古，在攻南宋时战死。其子李璟承袭益都行省职，成为山东军阀，臣服蒙古。忽必烈继王位后，李璟暗中招兵买马，囤积军粮，赶制兵器，准备谋反。当忽必烈同阿里不哥内部相争的时候，李璟加紧了叛乱的步伐，后被人发觉，密告忽必烈。当时，忽必烈正同阿里不哥打得难解难分，无力兼顾，便采取重金收买的方式，稳住李璟，并授予高爵，以换取后方的暂时安定。

尽管忽必烈对李璟采取拉拢收买的办法，可李璟见忽必烈与阿里不哥打得正紧，于1262年农历二月三日，公开举行叛乱。他将涟、海等州献于南宋，遣使请求南宋支援。忽必烈立即命诸王合必赤总督诸路军马，讨伐李璟。来自河南、河北、山东等地的蒙汉部队围攻李璟，将李璟困于济南城中。李璟向四处求救，希望得到山东、河北等地军阀的响应，但是响应者无几。数月之后，城中粮尽，李璟无计可施，便投大明湖自尽，由于水浅未能淹死，被蒙军抓获，随后被斩杀。李璟的叛乱很快被平息了。

忽必烈在平定了内乱之后，又开始进行了对南宋的战争，决心统一全国。

这时，偏安江南的南宋小朝廷已彻底腐败。宋理宗赵昀不理政事，阎妃受宠乱政，与宦官董宋臣狼狈为奸。他的后继者宋度宗赵禥、恭宗赵更是昏庸无能，横征暴敛，使江南人民受尽了苦难。

公元1267年，忽必烈以南宋当局扣留信使为借口，命阿术为主帅，举兵大规模进攻南宋。他采取南宋降将刘整的建议，集中优势兵力，进攻江、汉之间的军事重镇襄、樊两城。公元1271年农历五月，又令四川等地军队水陆并进，包围襄樊。襄樊两城军民奋勇抵抗，坚持固城战斗达五年之久。忽必烈久攻不下，便采取张弘范之计，先切断襄、樊两城水上联系，又集中力量先攻陷樊城。襄城守将见大势已去，便投降了忽必烈。

襄、樊是通向江南的大门，占据了襄、樊后，忽必烈兵分两路，一路从两淮方向进攻，牵制宋兵；一路从襄阳沿汉水而下，进入长江，直指南宋都城临安。公元1276年农历正月，在强大的蒙军面前，谢太后、宋恭宗赵只好投降了忽必烈。南宋随之灭亡。

忽必烈统一全国，不仅表现了他卓越的军事才能，同时表明了他有一套经略中原的政治策略。早在公元1271年农历十一月，他就公开宣布废除大蒙古国号，取《易经》中“乾元”之义，定国号为“大元”，并且完全采取了中原历代帝王统治中国的组织形式，从而保证了统一全国战争的最后胜利。随着南宋的灭亡，一个规模空前、全国一统的封建王朝又出现在世界的东方，中原数百年的混乱从此结束。