正当刘家语同荣子桓闹翻之后，我地下党派到五十七军一一二师师政治部工作的王武修被国民党特务策反叛变。好在被发现及时，地下工委处理得果断。因此，刘家语叫人将他秘密送往山东分局审查处理，未酿成大祸。但是，刘家语彻底暴露了。

鉴于这些复杂严重的新情况，刘家语应罗荣桓同志之召，到费县布袋峪汇报工作。刘家语一到，罗荣桓同志就立即同刘家语长谈。家语道：“我代表工委请示，能否在必要时，像山西新军那样，把队伍拉出来？请首长考虑。”

罗荣桓道：“山西新军是党组织起来的军队，东北军与它不同，发动起义拉队伍，事关重大，必先报请中央决定……现你要压住阵脚，提高警惕，静观形势变化，做好应变准备。考虑到你的身份已经暴露，你要先行撤出来，其他呆不下去的同志也要有计划地撤出。你撤出后，可在八路军一一五师挂个‘参议’的名义，继续领导党的东北五十七军两个师的工作。”

“好的，一定完成任务！”

刘家语立即秘密返回，召开师工委会议，作了传达安排。家语接着收到了一封“母病速归”的假电报，带警卫员小王和宋继柳向荣子恒“告假”，双眼恨得出血的荣子桓，虽然想一口把刘家语吞下，但鉴于刘家语在东北军的威信和在小王和宋继柳的保护下，也只好打掉门牙往肚子里咽——放行。

刘家语到沂蒙山区根据地一一五师后勤部驻地大炉村住下，通过两个交通员，一个是朱长禄，另一个叫刘远，传递口信，或找人出来谈话等办法来领导一一一、一一二师地下工作。

不久，原东北军工委书记项廼光在中原地区叛变。刘家语接到中央通知：凡与之有过联系的同志都要谨防遭到迫害。因此，李欣、程咏陶等也撤离一一二师。刘家语还将此情况秘密通报万毅、常因多，要他们提高警惕。

此后，刘家语据中央领导和罗荣桓、朱瑞、陈光、黎玉、肖华、陈士榘等人的指示，同师工委的同志对撤离行动作了周密细致的布置，逐个研究确定了撤退和留守的名单，选定撤离集合的地点和撤离的行军路线，分别通知到每个同志。

另外，还要求撤离人员不带走东北军的一人一枪；原来掌管钱、物的撤离人员，要造妥交割清楚的单子。要求少数坚持岗位的同志要做好隐蔽，提高警惕。这些准备工作大约花了半个多月的时间。

一天早上，人们忽然发现，部队中许多人不知去，这些人的枕头下面都有一份印好的《告东北军抗日将土书》，宣布：“我们是为抗日救国而来，为抗日救国而去，此处不给我们继续抗战的机会，只得另寻为抗战尽力的地方。”

有的枕头下还有账单，表明两袖清风，无私无弊。反动分子大惊失色，爱国官兵叹惋不已。撤出的当晚，刘家语带着八路军的一个连在集合地点等候撤离同志的到来。当东方布满朝霞时，刘家语和这个连队护送二百八十多名撤出来的同志向山东分局驻地进发。

他们到达分局后，经过一段学习，都分赴新的战斗岗位了。刘家语留在山东分局，任山东军区秘书主任和山东分局统战部长，仍负责联系东北军的工作。

刘家语来到了八路军一一五师后工作更忙了，他的主要的工作量不单单放在东北军一一二师了，还要把精力放在这个东北军的一一一师等部。他还时常到苏北的新四军三师重等处走动，扩大统战工作的成果。