李立三在总工会遭受错误批判后并没有灰心，而是集中精力一心扑在劳动部的工作上。
1953年，我国恢复国民经济的任务完成了，国家进入了有计划进行的社会主义建设和全面进行社会主义改造时期，党中央提出和公布了党在过渡时期的总路线。李立三根据党中央的指示精神，提出劳动部在新时期的基本任务是，在党的总路线指引下，做好劳动工作，为生产建设服务，除了继续完成国民经济恢复时期没有完成的任务以外，还必须加强劳动力的调配和技术工人的培训工作。
这年3月，李立三亲自带领一部分干部去了武汉，专门就手工业问题做了一个多月的调查研究。他在那里一边召开了一系列的座谈会，调查研究情况，一边深入手工业作坊，同手工业业主和工人谈话，了解他们的资金、产品、生产、销售、利润等一系列具体问题。然后又召开了硚口会议，请武汉和华中地区的一些手工业管理部门的干部参加，就在社会主义建设第一个五年计划期间，如何发挥手工业在国民经济和人民生活中的作用问题作了全面研究。在此基础上，他给党中央写报告，热情建议成立一个全国性的手工业协会，以加强对手工业的领导，充分发挥手工业在国民经济中的作用。
由于李立三在大革命时代曾两次在武汉工作，许多在20年代就同他相识的一些人纷纷去找他，想通过他给他们或安排工作，或解决一些个人问题。李立三让秘书尽量挡驾，有的老朋友前来叙旧，非见不可的，他出来热情接待，向他们宣传党的政策，进行思想工作。凡提出工作安排问题的，他都请当地党委或劳动部门去解决。
1954年，国务院成立了以贾拓夫为主任的第四办公室，劳动部归口受这个办公室领导。“四办”刚一成立，李立三就让秘书把他签署过的劳动部历年的文件选出一套，亲笔附上说明，送给贾拓夫审阅，供他了解情况加强领导。这件事充分反映李立三谦虚谨慎、不摆老资格的工作态度，给贾拓夫以及下级干部留下了良好印象。此事也受到周恩来的高度赞誉，他在一个党内会议的发言稿上，亲笔写了批语，说李立三在总工会工作受了批评之后，不气馁，不消极，继续积极工作，表现了共产党员的应有品质。
这年5月，李立三计划到一些地方去搞调查研究，5月3日，他以书面形式向有关领导请示：
富春、拓夫同志并转少奇同志：
我想最近到上海、武汉、西安等地区研究一下地方劳动局的工作问题和工资问题，预定一个月左右回京。劳动部的工作，拟请刘亚雄同志代理，工资工作，拟请宋平同志代管。可否，请批示。并请考虑，可否请中央通知一下当地党委给我以指示和帮助。
李立三这个请示，当即得到贾拓夫、李富春、刘少奇、杨尚昆的批示同意。
5月6日，李立三又写出报告给邓小平副总理，请假一个月，邓小平、刘少奇于5月7日批示同意。
于是，他又带着劳动部的干部去了华东、华中、西北三大区，就劳动工资问题进行了近两个月的实际调查。回来后，他在北京召开上述三大区的劳动工资处长会议，会议起草了一个关于工资调整问题的文件，为工资调整做了积极的准备。
正当他兴致勃勃地在思考着如何进一步改进劳动部工作的时候，1954年9月，迎来了第一次全国人民代表大会在北京召开。这是我国国家政权建设一次里程碑式的会议。李立三作为人民代表参加了会议。这次会议通过了我国第一部宪法，并依选举法程序，选举产生了国家主席和国务院机构。但是，李立三的名字被从部长提名名单中勾掉了，实际上等于宣布是免去了他劳动部部长的职务。
对李立三来说，这次“罢官”是他政治上的又一次跌跤。他不得不痛苦地接受从此“赋闲”的事实。经党中央批准，他去江苏、浙江、广东、湖南、湖北等地休假。各地领导同志仍然热情接待他，这使他十分感动。借此机会，他也顺路回了一趟湖南醴陵的老家。自1923年他离开家乡30多年以后，这是他第一次回到醴陵。他在有官有职时没有回过故乡，却在被罢官后还乡，其心情自然是微妙而又复杂的。所以他谨言慎行，更加严格地要求自己。谁都知道，他的老家离当年他投身革命创造过辉煌业绩的安源仅一步之遥，但他就是告诫自己绝不踏进安源一步。他只是请了个别安源老工人到他家里来叙旧。
事后，他对秘书语重心长地说：安源是我很想念的地方，但是我去安源会引起人们对我革命历史的称颂，这在政治上是不适宜的。我年轻时在安源搞工运的成功，都是客观形势造成的，是毛主席领导的结果。年轻时的成功，助长了主观盲动的倾向，是我后来犯错误的一个原因。
对于正在“赋闲”的李立三，党中央还是准备分配适当的工作。当时，党中央书记处下设4个办公室，分别归口抓几个业务部门的工作。中央准备分配李立三担任主管农业的第二办公室主任工作。中央秘书长邓小平代表中共中央找李立三谈话，传达了中央的意图。李立三在感谢中央能继续给自己分配工作之余，还是诚恳地对邓小平提出，自己多年来对农业接触太少，几乎一窍不通，请示是否能把自己派到工业口，邓小平告诉李立三，党中央管工业的第三办公室已经派定李雪峰做主任。李立三接着说：“那么我去给雪峰当助手好了。”邓小平为难地说：“可他现在连中央候补委员都不是……”话犹未尽，言下之意说你是中央委员，怎么会在不是中央委员的李雪峰领导下工作？当副手？邓小平的话还没说完，李立三就抢着说：“以党性保证，即使我在工作上犯错误，保证不会在组织原则上犯错误，我一定遵从雪峰的领导，请党中央放心！”只要有工作做，对于李立三来说，级别的高低、职务的大小从不在他的考虑范围之内。
