1912年4月29日，林森当选新一届参议院议长。大总统袁世凯将参议院开幕会议上的致词送给林森“审看”。林森将文中有损国格的内容、不合共和政体的语句共12处，毫不客气地逐项加以删改。在参议院大会上，林森力阻袁世凯挂军刀入场。
林森等国民党人对袁世凯存有幻想。但袁系党人大肆贿选，林森名落孙山。后福建省议会出面，才将林森推选为参议员、参议院全院委员长。在宪法起草的过程中，宪草会的国民党议员占了多数，加上林森等众多议员的支持，宪法草案基本上是按照国民党的意图制定，即限制了总统的权力，加强了国会对总统和政府的制约权等。
由于袁系对参议院的干扰，甚至动用军警胁迫议员，袁世凯当上总统后，即下令解散国民党、取消国民党议员资格。林森因此离开了北京。不久，中华革命党在日本成立。林森填写了入党誓约书，并当场盖上了自己的红色指模印。誓约书编号为“二三一”号。几天后，孙中山决定派林森去美洲主持党务工作。为了与林森在美国联系方便起见，孙中山特地将第六号密电码本交给林森，嘱其到美后一定互通消息。孙中山还亲书信函一封，介绍在美国各埠的同志，让林森持信先去见面，以便配合开展工作。
再任议长 力挫袁世凯
袁世凯当选为民国第二任临时大总统后，确立了北洋军阀集团在中国的统治地位。由袁世凯亲自遴选的内阁总理唐绍仪，因思想开明，观点与孙中山接近，故在南京时，由蔡元培介绍，在总统府中加入了同盟会。他幻想以自己的才干和勤奋，在南北之间进行协调，并为建设一个理想的国家而一显身手。南京临时参议院所拟定的新一届参议院议员的名单，就是经总理唐绍仪之手，并经唐绍仪的认可，再咨送北京政府的。这一名单，是南京临时参议院根据《临时约法》，与唐绍仪共同制定的，结果议长又是林森，同盟会员仍然占了大多数。袁世凯一看便知，又是南方革命党在参议院占了主导地位，遂对唐绍仪大为不满。因是初任大总统，也不便发作，遂以一副与参议院合作的姿态出现在北京政坛上。
南京临时参议院曾议定于1912年4月21日在北京开会。林森率参议院员们陆续北上赴京。行前，林森告诫吴铁城及参议员们说：“北方旧势力仍在，危机潜伏，前途很难乐观，大家要时加警惕，随时注意时局的发展。”
4月29日，新一届参议会在北京举行了第一次会议。
在会议开幕前的4月28日，临时大总统袁世凯将次日参议院开幕会议上的致词送交给参议院议长林森存案，并请他“审看”。这时的袁世凯，刚刚宣誓就任临时大总统不久，对立法机构参议院还是有所顾忌的。
林森对袁世凯有一定的了解，深知其为人怀谲挟诈，野心勃勃，从不愿屈人之下，非攘取高位决不善罢甘休。林森作为参议院议长，感到与这个总统可能会不好相处。但林森还对袁氏抱有幻想，希望他能够崇尚法制，尊重民意。当林森接到这份文件后，认真地看了一遍，将文中有损国格的内容，不合共和政体的语句共12处，毫不客气地逐项加以签注。之后，又连夜登门造访袁世凯官邸。当林森来到袁世凯官邸时，袁世凯的侍从挡驾说：“夜已深，大总统已休息，不便见客。”但林森态度坚决，表示明日开会，今夜此项要事必须面陈，否则决不离开。袁世凯只好出面相迎。当林森见到袁世凯后，即向他一一指陈，并说必须删除不妥之处。袁世凯虽然十分不乐意，但在林森极为认真的态度之下，也只好照办。
第二天，临时参议院大会正式举行。上午，到了预定时间，全体参议员早已到会，唯独大总统袁世凯没到。等了好一会，才见袁世凯在一群武装侍卫的簇拥下，趾高气扬地来到会场。袁世凯身着黄呢军服，戴白缨军帽，蹬长筒军靴，金色绶带斜背在胸前，一根宽牛皮军用腰带，好不容易才将隆起的肚皮紧紧地拴住，一副威风凛凛、不可一世的架势。当袁世凯走到众参议员跟前时，议员们的目光都盯在了他的腰间。原来，袁世凯的腰间斜挂着一把闪光夺目的军刀。按照参议院的惯例，任何人均不得携带武器入会。一时间，全场愕然，但议员们看到袁世凯不可一世的霸气，个个噤若寒蝉，没有一个人敢出面制止。显然，袁世凯如此胆大妄为，是对参议院的蔑视。这时，林森不慌不忙地上前拦住了袁世凯，正色说：“袁大总统，参议院是代表民意的最高机关，是一块神圣之地，例行是不得携带任何武器进入的。请大总统阁下解除军刀入席，以崇法制。”袁世凯虽然目空一切，但在众目睽睽之下，再加上林森的义正堂皇，就像是被迎面浇了一盆冷水，但又不好发作，顿时涨得满面通红。一面说“是的，是的”，一面悻悻地解下佩刀交给了随从。
以后，袁世凯越来越不把参议院放在眼里，以挑拨和操纵的一贯手法来对付参议院，独裁嘴脸逐渐暴露。林森虽为议长，但许多事情仅仅是一旁观者，根本就无法有所作为。他冷眼旁观袁世凯的所作所为，预感袁氏日后将更加放肆。于是，就事先向外交部领取了出国游历的护照，以备后用。
“抗袁驱陆” 南下武汉
1912年6月，内阁总理唐绍仪对袁世凯破坏民主的行为进行了一定的抵制。如袁世凯要唐绍仪向六国银行团商借巨款，而六国则以监督中国财政作为附加条件，遭到唐绍仪的拒绝。六国银行团遂向袁世凯提出了强烈抗议。袁屈服外来压力，命令唐绍仪向六国银行团道歉，被唐绍仪坚决地加以拒绝。此后，袁世凯对唐绍仪完全失去了信任，对他处处加以肘制，一些重要的任命不经总理唐绍仪副署就予以宣布，并煽动内务总长赵秉钧和陆军总长段祺瑞与唐绍仪对抗，使唐绍仪无法行使总理职权。最终，由于唐绍仪在直隶总督人选的问题上与袁世凯闹翻，遂于6月15日不告而别。政府没了总理，袁世凯心急火燎，不经参议院批准，就任命了原外交总长陆征祥为内阁总理。这一举动，遭到参议院的坚决反对，同盟会员中的内阁成员纷纷辞职以示抗议。
由于陆征祥平庸猥琐，参议院坚决反对他出任总理一职。议长林森主张全院拒绝投票表决。袁世凯看来软的不行，就使出了硬的一招。他甚至动用军警开到参议院外进行威胁，并鼓动一些人到参议院外扬言，“如参议院再不开会通过，则请大总统立即解散参议院”。在袁世凯的淫威之下，参议院的议员们敢怒而不敢言，被迫通过了陆征祥为总理的无党派的“超然内阁”。
投票表决是通过了，但议员们却在暗地活动“倒陆”。林森发动议员接二连三地提出了弹劾陆的议案，最终迫使陆征祥辞职。袁世凯随之又任命其党羽赵秉钧为总理。赵秉钧为表示对袁氏的忠心，竟将国务会议搬到中南海袁世凯的总统府中召开。从此，责任内阁也就徒有虚名了。参议院与袁世凯的抗争，终以失败而告终。
以同盟会为首的一些党团，为了反对袁世凯的专制独裁，又联合了立宪派组织的统一共和党、国民共进会、国民公党、共和实进会等党派团体，于1912年8月25日改组成立了国民党，并推举孙中山为理事长，黄兴、宋教仁为理事。这样，国民党成为议会中的第一大党。
此时，林森已对袁世凯彻底失望，但对袁氏视参议院为儿戏的举动也无力抗争，遂向参议院辞去了议长职务。这时，已将到10月。10日，正是武昌起义后的第一个周年纪念日。北京、上海等地都将举行隆重的庆祝活动。在起义的所在地武昌，也将举行盛大的庆祝活动。林森和吴铁城被各党派组成的国民党本部推为代表，专程前往武昌参加活动。于是，林森与吴铁城先期从京汉线南下，到达武汉后，黎元洪念其当年曾任参议院议长，总算出面招待了林森一行，并安排他们在大智门铁路饭店下榻。
林森在参加了武昌的纪念活动后，又乘轮船沿长江东下上海，再转海轮回到福州老家。林森此次回福建，在福州成立了国民党福建支部。同时，也为即将进行的众议员的选举做些准备。
在福州，林森又回到了当年创建的“阅报书社”（“桥南社”），与昔日的同事们相聚。有的社员对林森说：“南北统一，建国成功了，从此天下太平，子超兄今后将如何打算？”林森答道：“还未，还未！若说天下太平，那还远着呢。袁世凯得位之后，日渐跋扈，共和前途，危机滋伏。北方政局，龙鱼曼衍。黎元洪有厚重实力而缺远见，绝不是经邦之人物。那帮官僚政客更不识政治为何物。你们信不信，将来中国有好瞧的呢。”林森的这番话，不久就得到了应验。
林森此次在福建大约逗留了几个月。因北京政府将采取两院制，并通知当选议员1913年的2月至3月务必到北京集中，4月召开国会。其时，林森已被福建省议会推选为参议员，遂与本省参议员潘祖彝等一同离闽北上。途经上海时，林森诸人同孙中山会了面。
3月初，林森抵达了北京。
落选众议员
就在林森回到北京后不久，就发生了一起震惊全国的血案。1913年3月20日，袁世凯指使人暗杀了国民党的代理理事长宋教仁，其专制独裁嘴脸进一步暴露。同时，袁世凯还决定废除由南京迁往北京的由国民党控制的临时参议院，决定仿欧美参众两院制的形式重组参众两院，并举行第一届国会的“选举”。
“宋案”发生后，国民党人进一步觉醒。孙中山认为“袁氏将拨专制之死灰，而负国民之付托”。国民党人于3月26日在上海召开紧急会议，主张武力讨袁。但黄兴、陈其美等人则主张用“法律解决”。党内无法得到统一。而林森等人则赞同黄兴、陈其美等人的意见，对袁世凯存有幻想，仍醉心于走“议会政治”之路。
已经回到北京的林森连日在参议院参加会议。其时，参议院已拟定了《参议院、众议院选举法》、《国会组织法》等文件。
《国会组织法》共二十二条，规定成立参众两院，参议院议员由各省议会选出，每省10名。加上少数民族、华侨等方面，共须选出294人。众议院议员，由各省民众直选，每80万人口得选1名，人口多的多选。应选出595人。参议员任期6年，众议员任期3年。两院议员，须有半数到会，方能开会，否则视为无效。议案须得半数以上通过，才能决定。每年的会期为四个月。
这次两院选举，全部采用单记名投票方式进行。林森根据同盟会的要求，决定先在福建地方竞选众议员。众议员选举又分初选和复选。初选是以县为选举区，当选人名额，定为议员名额的50倍，即1名众议员产生出50名当选人。初选完成后，再进行复选，在初选出的当选人中，选出众议员。福建全省应选出众议员为24名。
初选阶段，以地区行政长官充任监督员。复选阶段，以全省行政长官任监督员。蒙、藏、青地区只进行一次选举。此外，选举人的条件，在国籍、纳税情况、年龄、文化程度、家产、民族、身体状况等各方面，都规定得十分具体。这一选举制度，在表面上看，可以说是比较完备的。但在选举过程中，袁世凯为取得两院的多数，不惜动用了权力、金钱等一切可以使用的手段，无所不用其极。
由于袁世凯把持了各级行政权，所以选举中进行了大量的非法干预，以迫害同盟会或国民党的选举人。如在第三选区，国民党人欧阳启勋已当选为众议员，但袁系民主党串通中央选举事务所，竟然与湖北省的选举监督夏寿康上下其手进行舞弊，借口欧阳辞职批准日期与当选日期不符，就宣告欧阳当选无效，硬要将他拉下来，而以一民主党人张则川递补。欧阳原任湖北省民政署司法科长，在投票前已经辞去现任官职，并已向众议院报到，议会也已进行了资格审查加以确认。但袁系的民主党首领汤化龙仗着议长地位，竟令军警不许欧阳进入众议院会议的会场，却让张则川入会端坐在席。欧阳为此到处奔走呼号，终无功而返，后积劳成疾，忧郁而死。
湖北省应选出众议员27名，同盟会方面仅得到9名，其余为共和党与民主党获得。在选举过程中，共和党人胡鄂公，将大量八旗公产变卖了移作选举费用。民主党人汤化龙得票最高，所花金钱也最多。共和党还以武汉平湖门外乙栈作为选举的招待所，不惜工本地用机器架桥伸入江中取水供乙栈饮用。还包下了汉口的福昌旅馆，以及三分里、四成里的妓院，供选举人使用。餐馆、酒楼，选举人吃饭，凭招待所的条子就可以白吃白拿。共和党还一次性拿出13万元交给选举人，声称如不按党议投票，钱就要全部退回。共和党支部的马宙伯、张汉等人，挪用湖北官钱局官票50万串作为选举费，一直无法报销，最后只得去求黎元洪签字批准。黎元洪说：“你们几人，选个议员，比前清捐个道台花的钱还多。”
当时有人作了一首六言诗来讥讽选举的腐败：傥来身价十万，可怜人民血汗。血汗换得拥袁，兔死狗同遭难。
而武汉的同盟会员选举人三四十人，就只有挤在武汉的原盐道衙门的几间小屋里，十分窘迫。
当时湖北省的选举情况是这样的，当时全国各省，包括林森所在的福建，也是大致如此。林森就是在这样的背景下，开始了他众议员的选举。
林森根据选举法的规定，按部就班地从地方一层一层地开始进行。福建革命同志纷纷出力帮助林森竞选。但时局已非以往，革命党元气大伤，已成不了气候。北京的临时大总统袁世凯如日中天，国内舆论均对袁氏寄予厚望。袁系党人、政客豪绅们则竞相钻营，并以其丰厚的金钱为后盾，运用各种手段，大肆进行贿选。而林森这个当年的参议院议长，竟然在初选的选举人选举中就名落孙山，更不用说50∶1的议员资格了。同盟会以参议院议长居然不能当选众议员，视为天下一大奇闻。各级总部及广大会员心有不甘，遂又层层进行发动。最后，由福建省议会出面，才将林森推选为参议院的议员。
尽管袁世凯动足了脑筋，但在全国的选举中，国民党还是在两院议员中占了相对多数。
参议院全院委员长
1913年4月8日上午11时，新的众议院和参议院在北京举行开幕仪式。根据《临时约法》第二十八条的规定，临时参议院完成了它的历史使命，正式宣告解散。
这一天，各省当选的参众两院议员云集北京象坊桥新落成的众议院会场。袁世凯的代表梁士诒到会致颂词。会议清点人数，国民党议员到会将近500人，在参众两院占了绝对多数。而袁系的共和党议员还不足300人，民主党议员则不到百人。其他如统一党也只有百余人。对此，袁世凯大为惊骇，遂决定将这三个党以及各自的党魁梁启超、汤化龙、王揖唐联合起来，组织成进步党，形成议会的第一大党，以与国民党相抗衡。
在以后进行的参众两院议长的选举中，国民党本部开会决定，仍推吴景濂为众议院议长候选人。民主党和共和党则联合推出汤化龙为候选人。按全国的选举结果，国民党议员在众议院占有多数。但选举投票的结果却正好相反，汤化龙获得超过半数的选票当选为议长。国民党大败。这又是袁世凯玩弄把戏的结果。
为了竞选众议院议长职务，国民党方面也动起了脑筋。为了给吴景濂拉票，国民党给了意志不坚定的议员胡祖舜3000元的津贴，给骆继汉2000元津贴。但这点小钱无疑是杯水车薪，与袁系党人为拉选票而“问票不问价”的放手招揽相比，只能是“小巫见大巫”。袁世凯是金钱开路，威逼利诱一起上。国民党中鱼龙混杂，拿到票子的国民党议员立即见利忘义，在选票上画上“汤化龙”三字。因此，袁系活生生夺去了国民党手中的20多张选票。再就是国民党议员陈家鼎出尔反尔，不受党的约束，擅自出面竞选议长，致使选票分散。
失去了众议院议长，国民党在参议院是势在必得。参议院议员由各省议会推定，林森就是通过这种方式当选的，类似这种情况的还有不少。因此，国民党议员占了多数，袁世凯及其党人对此亦无可奈何。国民党推选张继为议长，王正廷为副议长，林森为全院委员会委员长。三人均为同盟会的中坚分子。选举结果，三人全部顺利当选。共和、民主两党的议长候选人丁世峄仅得71票。参议院秘书长也由同盟会员平刚担任。
根据国会组织法，所有法律、财政、任免国务员等案，都必须由两院一致通过。袁世凯对于参议院的三个主要职位全部被国民党掌握，视为是对自己的莫大威胁，所以，他不甘心参议院被国民党所把持。
议会开会后的数日，袁世凯就给参众两院来了一个下马威，竟然不通过两院，悍然决定在善后大借款的协议上签上大总统的名字，取得了英、法、德、日、俄五国银行财团的财政支持。事后，众议院提出质询，要求袁世凯到议会说明情况。袁世凯明知理亏，但他本人赖着不露面，也不派签字的国务员与会，而是派陆军总长段祺瑞到众议院来敷衍应付。当段祺瑞到众议院时，议员们把对袁世凯的火都发到段祺瑞的身上，大骂袁世凯欺凌国会，破坏约法。有的议员将墨水盒砸到段祺瑞的头上。但军界强人段祺瑞这次是“打不还手，骂不还口”，死猪不怕开水烫，就是不吱声。袁党议员也知道袁世凯这样做太过分了，就出来打圆场，建议两院对此案加以追认。
国民党本部立即召集两院本党议员开会讨论此事。有的人认为袁世凯借用外力，压制民主，必然蛮干到底，议会要立即行使否决权，或进行弹劾。有的人主张除武力倒袁外，别无他途。有的人则说，袁世凯的势力太大，光凭几个议员与他作对，无疑是以卵击石。对此，国民党内部争得一团糟。参议院三巨头张继、王正廷、林森只是愤怒而已。林森发言说，此次让步，袁氏必无止境，但目前尚没有对付袁世凯的良策。讨论来讨论去，最后，慑于袁世凯的武力，国民党被迫作出妥协，同意加以追认，并对此不作任何规定。也就是说，除了再象征性地开一个会追认一下借款案外，其他就只好听之任之了。
结果，参议院进行了自由投票。议长张继、副议长王正廷、全院委员长林森均参加了投票，以勉强过半数通过以上决定。林森所能做的全部，只是一张反对票而已。参众两院在袁世凯的淫威下不得不屈服，袁世凯再次大获全胜。
袁世凯的野心还在一步步地暴露。继在北京诱杀武昌起义功臣张振武、方维后，袁系又在全国各地捕杀革命党人，仅湖北一省被杀的武昌起义人员就有2000多。一些国民党议员因不满袁世凯的专制独裁，纷纷离开参议院，对袁世凯进行抵制。此时在南方，孙中山、黄兴等人领导的“二次革命”爆发，不少议员纷纷南下参加了讨袁之役。
按理说，国民党的总理及其他领袖发起了讨袁战争，国民党议员应根据党的部署统一行动，即抵制国会，弃职离京，起码也要采取不合作的态度。但国民党内始终无法得到统一。在“二次革命”爆发前，国民党内对此就已是争论不休，孙中山主张武力讨袁，而黄兴、陈其美等人则主张用“纯法律解决”，依靠国会、司法制度来解决问题。“二次革命”失败后，孙中山和黄兴均逃亡日本。在京的两院部分国民党议员，在林森的宣内英子胡同住宅召开秘密会议。会上，一些国民党人坚决主张南下，然后加入讨袁阵营，并指责逗留北京就是“苟且偷安”。会上争得没完没了。后决定派遣与南方有军事政治联系的议员南下，川资到六国饭店领取，每人300元。留京同人则在国会内外同时开展反袁活动，与南方遥相呼应。但部分议员持反对意见，还幻想用“法律手段”行事。北京的国民党负责人吴景濂则举棋不定。
会后，一小部分议员奉命南下，大部分议员则委曲求全地留在了北京，坚守在“议会道路”这块阵地上，他们仍想通过“法律手段”来约束、制裁袁世凯。这部分留京议员，又称为“法律派”。林森虽然也主张反袁，但对用什么方式进行，尚不明了，因此，他也就成为留京的参议院“法律派”的一名成员。但他清楚地知道，覆巢之下安有完卵，老袁这个人今后必然不能相处。
《天坛宪法草案》
国会既然成立，一项重要工作，就是起草宪法。而由谁来起草？谁来议决？这又成为一个争论的焦点。
当年《中华民国临时约法》的起草，是先由总统府法制局负责，后临时参议院认为这样不妥，在征得孙中山的同意后，全部由林森为首的临时参议院主持进行，即参议院起草，三读通过。再以临时大总统孙中山名义颁布。这一次，起草存在三种不同意见。
第一，民主党的汤化龙、梁启超主张，由政府组织起草机关，再由各都督、各政党、参议院、总统府分派代表参加。草案再交国会议决通过。
第二，由总统公布宪法草案，交全国公决以免纷争。这实际上就是由总统负全责，类似于“钦定宪法”。力主者多为袁系死党。
第三，国民党主张，起草、议决、公布均由国会担任，其依据是据《临时约法》所决定，不必更改。而且王宠惠已经完成了《中华民国宪法草案》初稿。
此三说在参议院讨论时，林森等人极力主张采用第三种，即全部由国会负其责。其理由是，参议院已有了一个宪法蓝本，而且南京临时政府在制定《临时约法》时，已经有了一个先例，并在《临时约法》第二十条中规定，“民国宪法案之起草，由两院各于议员内选出同数之委员行之”。
