祁连山山峰的皑皑白雪孕育出凉州一片片美丽的牧场，成为西北各族人民栖息繁衍的故乡。自汉以来，因为他的美丽富饶，贯通东西的独特地理位置，成为汉人、铁弗匈奴人、卢水胡匈奴人、乞伏鲜卑人、秃发鲜卑人、羌人、拓跋鲜卑人、吐谷浑人、西域诸族人角争的所在。八王之乱后，中原动荡不安，汉人大量西迁，这块"由来征战之地"反倒成为一片净土。
凉国的建立者张寔是袭父张轨之职而为凉州刺史的，公元315年，正值匈奴汉国兴起，攻占洛阳，天下大乱之时，凉州的一名士兵偶然之间得到一块刻着"皇帝玺"三个字的玉玺，凉州的文武官员不约而同地向张寔祝贺，认为天意如此。张寔思路非常清晰，听出手下人的话外之音，他对大家说，"我平常最恨汉朝的袁氏兄弟，他们为得到皇帝的玉玺不择手段，大失人心，不然天下也不会为曹氏所据，诸君又何出此言啊？"当天就派人把玉玺送给长安的晋愍帝小朝廷。
刘曜兵围长安，晋愍帝遣使向天下求援，四方诸侯无人应者，只有张寔先后两次派将领王该、韩璞率凉州兵入援长安，第二支军队开拔时，张寔给右丞相的司马保写了一封感人至深的信："王室有事，不忘投躯。孤州远域，首尾多难，会闻朝廷倾覆，为忠不达于主，遣兵不及于难，痛慨之深，死有余责。今更遣韩璞等将，唯公命是从。"张寔对晋廷的赤胆忠心可表于天日，可司马保之流保存实力，竟眼睁睁看着长安陷落而袖手旁观。
晋愍帝投降汉国的前一天晚上，让黄门郎史淑、侍御史王冲带着他给张寔的手诏突出重围，拜张寔为大都督、凉州牧、侍中、司空，让他辅佐琅琊王司马睿共济国难。张寔在姑臧（即今甘肃武威市，当时属武威郡，凉州的治所）大哭三日，以天子蒙尘为由，坚决不接受官职。
张寔为人太忠厚，难免为人所算计，凉州这片净土被不少有野心的人盯上，公元320年张寔被部下暗杀。张寔死后，儿子张骏太小，兄弟张茂做上了凉州牧、西平公的位子。在任上发兵南下掠取了不少土地，并建造起凉州的象征姑臧城，仅仅过了四年患重病死去，临死前拉着侄子张骏的手叮嘱道："我张家世代忠良，今虽华夏大乱，皇舆播迁，你也应当谨守人臣之节，上不负晋室，下保全百姓，则凉州幸甚！"
张骏也真没有辜负乃叔的一片忠心，继位后三番两次派使臣到江东去向晋朝称臣，无奈道路断绝，中原被前赵控制，蜀中又被李雄控制，张骏竟然想出奇招，用向李雄称臣的办法借道去东晋，终于联系到东晋朝廷，一了张家的心愿。
张骏年纪虽小，有心计，但用兵马马虎虎，刚继位的时候见到匈奴前赵势力强大，接受刘曜封的凉王，等到前赵后赵一翻脸，两国兵戈相向的时候，他也落井下石，丢掉前赵凉王称号，仍旧称凉州牧、晋大将军，并派兵攻打前赵，结果被前赵击败，丢失了河南之地（指黄河以南）。好在石勒打败刘曜，河南之地失而复得。石勒派出使者封他做凉州牧，开始张骏看不上石勒，因为石勒是灭晋的急先锋，他把石勒大骂一通，又怕石勒知道自己骂他，将后赵的使者扣下不让回去。后来一看后赵统一北方，势力强大，又接受石勒的官职，表面上向后赵称臣。
张骏的功绩就是平定西域，公元335年，凉兵西征，龟兹、鄯善等国纷纷投降，向张骏朝贡，扩大了凉州的版图。张骏病死，世子年仅十六岁的张重华做了凉州牧，假凉王。一继位就陷入危难之中，前赵天王石虎在慕容家族面前吃尽苦头，大丢颜面，把愤怒洒向凉州。石虎对张骏有所顾忌，难道还怕一个小孩子吗？数万羯兵在王擢、麻秋和孙伏都的带领下浩浩荡荡杀奔凉州，接连攻下许多座城池，凉州大震，张重华扫地为兵，派将军裴恒抵御赵军，裴恒畏惧羯兵声势，固守广武不敢交战。
凉州司马张耽向张重华推荐名不见经传的谢艾，他说："国家的存亡取决于军队，军队的胜败取决于将领。故燕国任用乐毅，克平全齐，及任骑劫，丧七十城之地。如今评议者荐举将领，大多推举故旧。韩信被推荐，并非由于他是过去的功臣，所以贤明君主任命将领，并没有固定不变的人选，只要才能胜任就授以重任。如今强敌就在境内，众将领都畏怯不进，人心恐惧。主簿谢艾，才兼文武，可以起用他来抵御赵军。"张重华马上把谢艾找来问他破敌之策，谢艾也不谦虚，在朝堂上口出大言："给臣七千兵马，为殿下吞王擢、麻秋等羯贼。"
