在战后重建时期，雷曼兄弟公司承担了亚拉巴马复兴的大部分责任。亚拉巴马州政府指定雷曼兄弟公司担任财务代理，公司的主要任务是为政府筹集资金、管理债务。雷曼兄弟公司通过承担这些责任，开始由单一的棉花经销商转而经营一些更为接近银行的业务。
1854年，亨利去世的前一年，雷曼兄弟买了一个奴隶。契据显示是以亨利和弟弟伊曼纽尔的名义购买的，尽管当时兄弟三人中的小弟梅耶已经来到美国，共同经营生意。他们买的这个人叫玛莎，14岁。契据显示，她身心健康，是“终生奴隶”，购买价格是900美元（约合现在的21 000美元）。
亨利去世后，伊曼纽尔去了纽约；梅耶后来一共有7个奴隶，4位女性，3位男性。他们有的做家务，有的可能在公司工作，大概是在办公室做一些综合性的工作。尽管南方的大部分奴隶都在种植园劳作或者做家仆，但主人可以分配他们做各种各样的工作，其中包括办公室工作。
尽管梅耶在德国曾经为自由而战，但还是接受了美国南方的奴隶制。在位于科特广场的家族办公室中，他或许目睹了交易大酒店外面进行的奴隶买卖。伦敦《泰晤士报》记者W·H·拉塞尔在内战期间于1861年7 月13日来到这儿，在《哈珀周刊》杂志发表文章记录了他的感受。他亲眼看到一名25岁左右的青年男子以975美元的价格卖出。拉塞尔指出自己并不是一个多愁善感的人，而且看到过亚洲的奴隶市场，但他依然这样描述那里的气氛：“他们不能表达任何不合意的想法，冷血的交易在我眼前发生……后来，广播中传出那种类似奴隶交易的场面中人们说话的腔调，都会令我毛骨悚然。”
作为接受过良好教育而又见识不浅的人，梅耶和伊曼纽尔不会无视这个国家正在发生的一切。斯陀夫人的作品《汤姆叔叔的小屋》刻画出奴隶制的恐怖，1852年出版后非常畅销。在西部边疆堪萨斯，支持奴隶制和废除奴隶制的两派展开了激烈的白刃战。1856年，强烈反对奴隶制的约翰·布朗卷入了堪萨斯州的几次血腥战斗，新闻报纸由此演绎出“流血的堪萨斯”一词。
但是，梅耶和伊曼纽尔依然是满怀激情的南方民主党人。“犹太人希望自己能够适应他们所处环境中的方方面面，在社会和心理层面，他们都需要得到平等的公民待遇。”奥斯卡·施特劳斯指出，无论南方人怎么看待奴隶制，他们都不会公开站出来反对，除非在极少数的情况下；而且甚至会采取一种非常隐秘的保留态度。为了顺应当地的这一观念，雷曼家族就奴隶制的问题保持低调。大概积极的一面是这样的，内战后梅耶和全家转战北方开辟事业的时候，原来的奴隶至少有两个作为自由人同去。其中一个女性奴隶在纽约带大了雷曼家的几个孩子。
19世纪50年代末，雷曼一家努力不受混乱局面的影响，一心关注经济发展，但经济在那个时候出现了失控的迹象。国会批准大面积的联邦土地用来修建铁路，支持铁路建筑的飞速发展，导致土地价格飞涨，而铁路公司大量抛出的股票价格也随之上涨。铁路公司的真正价值——按照土地和其他资产估算的价值——完全不足以发放如此多的股票。同期，政府印制大量钞票让人们购买股票，目的是跟上经济的总体步伐。当时都没有足够的有形财富——特别是黄金——支撑货币；金本位制依然存在，而且人们可以使用纸币购买黄金。1857年，一艘从加利福尼亚金矿出发运载黄金的船只沉没后，引起了东部银行和股票市场的恐慌。
雷曼兄弟没有受到这一切的不良影响。他们按照自己的标准——尽管不是正规的——棉花标准经营。他们有大量的库存商品，可以作为丰富的储备，从而开始作为商业银行经营。来存钱的储户知道自己的钱在这儿就如同雷曼兄弟公司的棉花储备一样安全。在纽约，伊曼纽尔顺利建成公司的第一座办公大楼，没有受到1857年恐慌的一点影响。位于自由街119号的办公大楼距离群情沸腾的股票交易所以及下个世纪世贸中心原址的位置仅数步之遥。办公大楼规模并不大，不久之后，伊曼纽尔又开始寻找更宽敞的空间。
尽管兄弟俩的性格不同，但他们相处得非常融洽。据说，梅耶总是坚持“买进、买进”，而伊曼纽尔却是“卖出、卖出”一派。肯尼思·利博说，根据家庭惯例，“梅耶负责赚钱，而伊曼纽尔确保留住他们赚到的钱”。梅耶是天生的销售和社交能手，广交朋友。《百年纪念》中把梅耶刻画为公司的“主外先生”；而伊曼纽尔是“主内先生”，他不动声色地确保公司的强大凝聚力。雷曼兄弟公司开始发展为一家严谨运作、细心管理的和谐企业。
