1946年，我东北民主联军经过“四平保卫战”，沉重地打击了敌人，但部队也有较大伤亡。6月，根据中央决定，东北局进行了改组。新的东北局在哈尔滨召开了会议，做出了有历史意义的“七七决议”。此时，经罗荣桓推荐，中央军委批准，学成归国的刘亚楼出任东北民主联军参谋长。
刘亚楼上任后便抓紧时间熟悉情况。他感到，虽然我军在抗日战争时期各部队已经有了司令部工作，但司令部组织机构和业务很简单。当时司令部干部都是由关内各根据地调到东北的部队临时抽调组建而成的，来自五湖四海。他们虽然有工作热情，但思想作风、工作经验、制度均有差异，且普遍业务素质较低，组织很不健全，分工也不明确。司令部机关的几个主要部门特别是情报和通讯基本处于敌情不明、上下不通的状态，司令部工作比较被动。
刘亚楼认为，司令部要适应复杂的战争形势，适应游击战向运动战的战略转变，必须健全组织机构，加强业务建设，提高作战指挥的能力。他首先抓了情报部门的组织充实和业务建设。把关内来的、凡是做过情报工作的干部集中起来，成立了技术侦察部门，加强了司令部的侦察队伍和技术训练。
与此同时，刘亚楼根据领导层分工对当时部队的工兵、炮兵、装甲兵、航空兵工作给予指导。他任东北航校校长期间（此间他还兼任俄文学校、参谋学校校长），不等不靠，自力更生，埋头苦干，提出“短小精干，持久延长”的办校思想，为我军空军建设培养了人才，保留了骨干。特别在炮兵建设方面，他全力支持朱瑞司令工作，在炮兵使用和步炮协同作战上花费了大量心血，经他不懈的努力，民主联军炮兵得到迅速发展。
在司令部业务建设方面，刘亚楼为培养充实基层参谋人员，从部队抽调了100名具有高小、初中文化程度的连排干部，连同司令部原有参谋人员，在哈尔滨连续办了三期参谋集训队，每期六个月，他多次亲自授课。每次学习期满，考试合格发结业证书。
刘亚楼的参谋长工作非常辛苦繁忙，为了弥补学习材料的不足，他利用夜晚休息时间，亲自翻译了俄文版的《红军野战参谋业务条令》下发到民主联军团以上司令部，参谋人手一册。尽管苏军参谋业务与我军司令部工作不尽相同，但在当时环境下，这部条令对规范司令部业务起到了很大的指导作用。
1947年夏季攻势历时50天，东北民主联军歼敌8万余人，收复县城42座，解放敌占区万平方公里，控制铁路线2500公里，使中长铁路陷入瘫痪。东北战场战略主动权发生了转变，但也存在一些问题。为了及时总结经验教训，刘亚楼建议召开了第一次参谋工作会议。刘亚楼主持会议，他充分发扬民主，广泛听取到会同志的批评和建议，然后根据参谋人员反映的“四多四少”（使用多培养少，批评多表扬少，碰钉子多撑腰少，任务多级别少），从思想教育入手，解决实际问题。此举调动了参谋人员的积极性，稳定了司令部机关队伍。
在作战指挥上，他不愿过多干扰上级，但发现问题就及时提出。如辽沈战役中，华北敌人向葫芦岛增兵，在“攻锦”问题上林彪曾一度产生过顾虑，给中央军委发电报想回师长春。刘亚楼觉得不妥，他及时找罗荣桓政委商量，然后一起提出意见，林彪很快改变了决心，将原先电报作废，继续决定攻打锦州。
刘亚楼在指挥中善于通过对小问题的发现，看到战术运用的重大原则。他非常重视炮兵使用的一般原则、火力组织、协同动作，多次在各种会议上讲解示范，指导部队运用于实践。但他更重视对炮兵战术技术的具体运用。
对辽沈战役发起的战略佯动和隐蔽伪装，刘亚楼指导司令部做了大量工作。为了做到这一点，他指挥各部队用原有电台在原驻地正常工作，给敌人以“东野”尚未行动的错觉。而各纵队携带新的电台，夜行晓伏隐蔽地向锦州开进，在到达指定地点前不准出现空中信号。在东北我军控制区频繁放出攻打长春的空气，少量围困长春的部队晚上向南、向西、向东运动，白天又回头向长春开进，暴土扬尘，给敌人空中侦察造成我军继续向长春集结兵力的错觉。
对铁路运输也做出周密安排。南进部队白天分散在小站上待避，夜间则鱼贯前进，向北开的都是部队运到后北返的空车。“东野”前线指挥所9月21日乘火车从双城向前线开进，为造成敌人错觉，火车先向北开哈尔滨，经短暂停留后，向东南牡丹江方向行驶，然后掉头西返，经齐齐哈尔、白城子南下。在锦州战役打响前，许多部队都不知道具体任务，直到大部分部队已到锦州城下，总部才发布协同命令。而直到兵临锦州城下，卫立煌、范汉杰才蓦然醒悟“东野”的意图。这不能不说明刘亚楼严密的组织工作。
