但是，忽必烈并没有放弃控制中原汉地的雄心。后来，蒙哥因塔察儿军事失利，又命忽必烈重新征宋。在征宋的过程中，忽必烈又重新把大权控制在自己的手中。

公元1259年春天，蒙哥兵分三路，南下灭宋。他亲率一队主力进入四川。农历八月，蒙哥在合州遭到守将王坚的顽强抵抗，双方激战多日，蒙军受到重创。这时，忽必烈正率领军队，越过淮河，准备强渡长江。不久，忽必烈接到消息，蒙哥在合州攻城时被宋朝军队炮石击中，死于军中，请他速速北返。

忽必烈思索再三，决定继续率兵强渡长江，把宋军守城鄂州团团围住。但由于城内宋军的拼命抵抗，蒙军久攻不下。这时，忽必烈又接到妻子来信，告诉他其弟阿里不哥正在加紧策划，准备继承王位，请他务必北返。忽必烈这才放弃攻宋，整顿内乱，以防腹背受敌。他同宋军妥协议和，以江、淮一带为中立地带，然后率领大军开始向北回撤。

公元1260年农历三月一日，忽必烈到达开平，在众将领和部分蒙古贵族的帮助下，抢先宣布登上了王位。

根据蒙古国的习俗，继承汗位，必须在蒙古人的发祥地进行，必须有各系宗王参加，才算合法。而忽必烈在开平继承汗位，是有违蒙古人的传统习惯的。因此，他的行为引起了不少贵族诸王的不满。特别是早在忽必烈南征未归时，其皇弟阿里不哥就已经拉拢一些人在策划夺取王位。当阿里不哥听到忽必烈自立为王以后，也于1260年农历五月在阿尔泰山的驻夏之所，宣布继承王位，与忽必烈相对抗，从而引起了长达四年多的内乱。

当时，阿里不哥占有明显的优势，他驻守和林，有控制蒙古本土的便利。在蒙哥死后，他一面以监国身份为蒙哥举哀发丧，一边调将布兵，以阻防忽必烈。他先命脱里赤为断事官，占据燕京，号令四方；又命玉木忽儿率领东路大军，出和林、越漠北，谋取开平；再命阿兰答儿率领西路军，下河西走廊，企图与屯守在六盘山的浑都海部会合，以形成对忽必烈的包围形势。当时的关中地区最为复杂。蒙哥死后，他所带领的伐宋主力，退回到六盘山屯守，与原来驻守部队浑都海部会合。阿里不哥在即位前就任刘太平、霍鲁怀到陕西任职，企图控制陕川。这两个人都是忽必烈的死对头，如果驻守在六盘山的这支劲旅悍然进攻京兆，秦、陇、陕、蜀之地将尽为阿里不哥所有，对忽必烈构成致命的威胁。

忽必烈即王位后，首先采取的军事措施就是先派廉希宪、商挺为京兆等路宣抚使，安抚关中。当他们得知刘太平、霍鲁怀前来联系六盘山驻军，图谋作乱时，便采取断然措施，将此二人杀死。忽必烈遂令陕西、四川宣抚使八椿节制诸军，又令汪惟良征集秦陇、平凉等地部队，加强关中防务，严密监视六盘山部队。值得忽必烈庆幸的是六盘山驻军不但没有乘势直捣京兆，反而因久驻思归，竟沿河西走廊北撤，这就大大缓和了关中的局势，使廉希宪有机会调部队加紧布防。北撤大军到甘州后，碰上阿里不哥派遣的阿兰答儿部，两军会合后，除一部分继续北撤外，大部分又折回南进。到达甘肃山丹县后，阿里不哥的部队正好同八椿、汪惟良部相遇，双方展开激战。结果阿里不哥所属的军队大败，阿兰答儿、浑都海先后被杀。忽必烈得知情况后，立即带领部队亲征阿里不哥的驻地和林。阿里不哥闻讯逃亡谦州，忽必烈在第一阶段的交锋中终于占据了优势。