乾隆四十七年（1782年），祁韵士又受命担任国史馆纂修官。他接任后，即通核立传体制，凡是内外蒙古加上卫拉特蒙古200余旗以及西藏、新疆维吾尔王公，都应该立传。这对于当时只有32岁的祁韵士来说，实在不是容易的事情。他对于疆域、山川、形胜、古人爵里、姓氏都很透彻，加上在翰林院刻苦学习和虚心求教，很快达到了熟练阅读和翻译满文的水平。他从满文档案入手，在满落灰尘的故纸中悉心翻阅检索，潜心理出头绪，按部落立传，对照地图，再以理藩院所存在的各部落的世谱核准订正。为了详述蒙古各部历史与现状，他又撰写出了《皇朝藩部要略》二十二卷。所以说，祁韵士编撰少数民族史地有开创之功，他的著作对后来的《清史稿》中的藩部编撰起了重要的作用。
祁韵士可谓“三十而立”之人，29岁考中进士不久，便为翰林院编修，32岁时任国史馆纂修官，编纂《蒙古回部王公表传》一书，历时8年。这是一部享誉国内外，很有价值的民族历史著作。嘉庆年间，他因揭露和鞭挞了官场的贪污舞弊之风，成为和珅为首的官僚们的眼中钉。所以，他在仕途上屡屡受挫，直到40岁才补受右坊中允，也就是个正六品的官。一年以后改补户部主事，没有升官，还是正六品，属于“平调”。
嘉庆六年，祁韵士成了正五品的郎中，监督宝泉局。宝泉局就是铸币局，是制作铜钱的地方，内设铜库、钱库。“监督”就是宝泉局的“一把手”，官不大，权不小。按照宝泉局的惯例，交卸铜货时，只要看账本子就行了，而实际的库存，另外再定时间进行盘点。这就有了大漏洞，长此以往，必定造成亏空。祁韵士大概是个书呆子，他到了任上，不了解上述情况，因此，在与前任交接的时候，也就按惯例办理。嘉庆九年，上级来人检查铜货，发现亏铜很多。这可是大事儿，历任监督全都被逮捕法办，祁韵士当然也在其中，被定为死罪。
当时，朝中的大臣都很钦佩祁韵士的学问和品德，而且也知道他是被冤枉的，所以都向皇帝建议免除祁韵士的死罪。皇帝当然也了解祁韵士这个人，于是，就落得个爱惜人才的美名，将祁韵士遣戍伊犁3年。
祁韵士在接到圣旨的一天后就踏上了戍途。从生命的高峰一下滑落到谷底，这对祁韵士来说，当然是一次重大的失落。可他失落的只是一顶乌纱帽和由此带来的荣华富贵，他的学识，他的才华，不仅没有失落，反而因此而得到升华。祁韵士并没有悲观失望，听凭命运的摆布，遣戍新疆的经历，反而使他有了亲躬神往已久的西部大地，亲自了解西北边陲的机会。一路上，祁韵士一改“不好为诗”的习惯，几乎是“无日不作诗”，以解旅程之忧，以记沿途之见。
他在《万里行程记》篇首写道：“西戍之役，余以乙丑二月十八日自京师启行，阅时六月，至七月十七日，始抵伊江。时经一百七十余日，路经一万七百余里，所见山川城堡、名胜古迹、人物风俗及塞外烟墩沙磺，一切可异可怖之状。无不周览遍历，系于心目。每憩息旅舍，随手疏记，投行箧中，时日既久，积累遂多，亦自不置记忆矣。抵戍后，暇日无事，或愁风苦雨，独坐无聊，偶拣零缣碎片，集而省阅，以寄情怀；略加编辗，遂尔成篇。”字里行间，哪有一点发配之人的愁绪伤感，全然是一个专家学者的勤奋与刻苦。
祁韵士一进入新疆，处处感到新奇。他在鄯善连木沁见到坎儿井，就写道：“石罅中突吐一泉，稍北又有一溪从深林内涌出，汇合桥畔，淙淙振响，上有万柳阴云为之庇幂，炎天酷热，顿极清凉。时看人头嗥嗥，妇子嬉嬉，饮马捣衣，往来不绝，别有天地。”
来到炎热的吐鲁番，他记述：“所产棉花遍野，葡萄蔓地而生，不须架引，绿者无核最佳。甜瓜极妙，以皮瓤纯绿为上。”
祁韵士所记的达坂城是这样的：“逾岭迤逦出山，远见水草盈目，雪山横亘北面，数峰插天，云气缭绕于下，晨日东升，射照璀璨，烂然如银，诚大观也。”
