因此，太宗即位后就“思革其弊”。从贞观元年（627）开始，由房玄龄和杜如晦主持省并州县的工作，以改革这种不合理的行政区划。
根据两《唐书》的不完全统计，太宗自贞观元年至贞观十三年共废省了152个州府，其中尚未包括贞观年间置、贞观十三年以前就废除了的州及羁縻州。调整之后，不仅加强了中央对地方的管理和控制，也有利于地方自身的发展和建设。
同时，为了有效地统治广大州县，贞观元年，在省并州县的同时，还在地方设立了“道”制，分天下为十道：关内道、河南道、河东道、河北道、山南道、陇右道、淮南道、江南道、剑南道、岭南道。“道”作为地方行政区划的名称最早出现在汉代。当时把在少数民族聚居地区所设置的县称为道。贞观设立的道并不是实体化的地方行政单位，而主要是以监察为目的。中央以道为单位，派出官员巡查州县，考察刺史、县令是不是忠于职守，有没有不法行为，优秀者提升，不肖者贬官；同时了解百姓生活状况，有灾害及时救助。通过派遣使者分道巡察州县，中央对地方情况有了更全面准确的了解，自然更有利于整个国家的统治。而设置十道、创设地方监察区划的工作，作为军国大事，也必定离不开房杜两位宰相的总体规划和全局领导。
当然，房杜二人之所以能取得这样的成就，除了他们自身有才能，有能力胜任本职工作之外，还得益于太宗的用人得当和他的用人不疑。
结合制度背景仔细分析太宗的人事安排，就能够发现太宗对房杜二人是多么了解，他用人是多么高明。如上所述，中书省主要职责是出谋划策，正可以发挥房玄龄善谋的特点；而门下省负责国家大政的决定审核，与杜如晦能断的性格吻合，“房谋杜断”在这种体制下可以充分展现出来。太宗的这种布局，使贞观初年许多政策的制定及完善可以最大程度地顺利实现，为贞观之治局面的形成奠定了良好的基础。
贞观三年（629），房杜分任左右仆射，太宗对他们说：“两位爱卿担任仆射，要多为朕访求贤才。听说你们每日要处理各种公文上百件，这样哪有时间去选拔人才呢？自今以后啊，小的工作都交给下面的人去干，大事你们再过问，多抽时间为朕挑选国家栋梁才是。”一番话点出了房杜的关键任务和国家对人才的需要，指导了他们的工作方向。
另外，太宗还对房杜给予了充分的信任。
贞观三年，监察御史陈师合上了一篇《拔士论》，文中指出一个人不可以担任数个职务，暗中其实是讽喻杜如晦等任职太多。太宗看了说：“玄龄、如晦不是因为有功才受到重用的，而是他们的才干确实可以助朕治理天下，师合难道想以此文来离间我们君臣吗？”下令将陈师合发配到岭南去。
贞观十八年（644），太宗亲征辽东，命玄龄留守京城，处理日常政务。并准许玄龄不用奏请批准，就可以直接拿主意，处理各种军国大事。在这期间，正好有人上访，声称要秘密告发一个人。
玄龄接见了他，问：“你声称要告发一人，那人是谁？”
回答说：“就是你房大人。”
房玄龄看着此人，想了一会儿，径直走出屋去，吩咐侍从：“派人将他送到皇上那里。”言罢便拂袖而去。
却说太宗听说留守房玄龄送来一个告密人，眉头一皱，很不高兴。一边命人持长刀站在旁边，一边叫那人进来。
“你想告发的人是谁？”太宗盯着他，问道。
“回皇上，是房玄龄。”
“果然是这样。”太宗自言自语，然后回头对持刀的侍卫：“拉出去腰斩。”
“陛下，还没有听草民要告什么啊，陛下饶命啊！”告密者脸色大变，连声求饶。
太宗也不理他，挥一挥手，让人将他拖了出去。
几日之后，玄龄收到太宗的来信，责怪他如此不自信，称“再有这样的人，你该怎么处理就怎么处理，不要因为与自己有关就有所顾忌。”
太宗对房杜的信任由此可见一斑。这种信任是建立在充分了解的基础上的，也是太宗自信的一种表现。君臣都如此优秀，也难怪后世常称贞观时期是君明臣贤了。
