公元220年，东汉王朝在各方势力的打击下走向灭亡，中国进入长达300多年的分裂割据时期。此时位于中亚的贵霜帝国也走向衰落。位于伊朗高原的安息帝国，则于226年被新兴起的萨珊波斯（226—651年）灭亡。在欧洲的罗马帝国，也经历了一个多世纪的危机（三世纪危机），并于395年分裂为东、西罗马帝国。476年，西罗马帝国灭亡，在其原来的领土上产生了十几个分裂的小国，而东罗马帝国，也称拜占庭帝国，则经历了漫长的统治时期，直到1453年为伊斯兰教的土耳其帝国灭亡。
虽然中西差不多在同时出现了政权的衰落，乃至更替，但是早已形成的丝绸之路却依然保持畅通，尤其是中国北朝时期，由于各统治民族同西域少数民族间的固有联系，中西陆路交通进一步拓展，使丝绸之路呈现更加繁荣的景象。
三国时，魏曹丕即位后，国力强大，向西部用兵。222年，曹魏政权正式恢复戊己校尉的设置，驻扎在丝路的要地高昌（今新疆吐鲁番），后又恢复西域长史的设置，驻地设在海头（今罗布泊西），这两个设置分别处于丝路的北道和南道。此后，曹魏陆续平定了河西的地方势力，西域各政权纷纷归附曹魏政权。自此之后，西域各国，如龟兹、鄯善、于阗、疏勒、车师等国，贡使岁岁来朝。魏文帝曹丕也十分重视与西域诸国之间的关系，对各国使节均厚赠而返。
265年，世家大族司马氏取代曹魏建立西晋政权，继续沿袭曹魏管理西域的模式，并普遍授予各国国王官职，授予他们“晋守侍中、大都尉、奉晋大侯”等官职。
316年，匈奴人刘渊南下灭西晋，司马氏南迁至今南京，建东晋，中国北方陷入十六国纷争的局面。占据凉州的诸地方割据政权（如前凉、后凉、西凉、北凉），依然与西域之间保持着联系，只不过此时的西域和外国商人，大多在以前的河西四镇等地贸易，不能进入长安、洛阳。在肥水之战前，前秦苻坚也曾遣使西域，以缯彩赠与诸国国王，使西域十余国前来朝献。
389年，拓跋建北魏（386—534年），并逐渐统一中国北方，采取了一些措施加强中国与西域的联系。439年北魏灭北凉，就是为了打通西域与内地的联系。442年，北魏在敦煌设立沙州，继而在西域重镇鄯善、焉耆分别设镇，实行直接管理。437年，北魏派董、高明带着大量的金银、绸缎出使西域。北魏时期是中西交流的重要时期，都城洛阳作为当时西域商人的荟萃之地，有专门接待商人和使者的“四夷馆”，而且设有专门供西域和外国商人买卖的市场，称为“四夷市”。
就在中国各政权努力与西域建立联系的同时，中国与中亚、西亚乃至欧洲的联系，也在双方的努力下得以实现。
