唐代京师长安的皇城北面，驻守在宫城和禁苑中的禁军，号称北衙兵，负责保卫宫城和皇帝。它们是左右羽林军、左右龙武军、左右神武军、左右神策军和左右神威军，总称北衙十军。此外，安史乱后，还曾设过威武、长兴、英武、天威等军，旋即废弃。在这些北衙兵中，神策军是中坚力量。
左右羽林军是唐高宗龙朔二年（662）挑选府兵中的越骑（骑射）和步射而设置的。天宝七载（748），唐玄宗诏令左右羽林军飞骑以一万五千人为定额，分作六班轮流值勤，从事日常性活动的人平均为二千五百人。广德二年（764），北衙禁军定员，唐代宗敕令左右羽林军各以二千人为定额，两军共四千人。这个数字实际上已经突破，元和二年（807），唐宪宗的诏令披露："左右羽林军应管月番飞骑，总五千六百一十三人。"（《唐会要》卷72《京城诸军》）左右羽林军各置大将军一人，正三品，将军两三人，从三品，以及其他一些负责具体事务的长官。其余几支北衙禁军的职官设置与此相同。
左右龙武军正式设置于唐玄宗开元二十六年（738），从唐太宗贞观十二年（638）设置百骑开始，历经整整一百年。唐太宗当时在宫城北门玄武门设置了左右屯营，以诸卫大将军统领，士兵称作飞骑。他从中挑选了才力骁健精通骑射者，称为百骑，作为巡幸田猎时的翊卫部队。永昌元年（689），武则天扩充百骑，改称为千骑。景龙元年（707），唐中宗又改称为万骑，分为左右万骑营。士兵原本隶属于羽林军，唐玄宗把他们独立出来，成为左右龙武军。广德二年定员时，唐代宗规定左右龙武军和左右神武军都是一千五百人。
左右神武军是唐肃宗至德二年（757）设置的。这时，安史之乱尚未平息，唐肃宗正在凤翔（今陕西省凤翔县）筹划收复京师，羽林军已减耗到不足千人，于是增设了左右神武军。
神策军正式列为北衙禁军，是唐代宗永泰元年（765）的事。神策军原是地方部队。天宝十三载（754），陇右藩镇（驻今青海省乐都县）节度使哥舒翰，以前年击败吐蕃，收复黄河九曲一带，请分其地，在洮州（治今甘肃省临潭县）西界置洮阳郡，并于当地置神策军。安史之乱爆发后，神策军千余人赴内地勤王，在相州（治今河南省安阳市）打仗失败，驻屯在陕州（治今河南省陕县），因神策军故地又被吐蕃占领，这支陕州部队继续称为神策军。广德元年（763），吐蕃东犯京畿，唐代宗避难陕州，宦官鱼朝恩以观军容使的身份率领神策军迎驾扈从，京师收复后，遂率神策军归于禁中。永泰元年，吐蕃再次入寇，鱼朝恩又以神策军屯驻禁苑，始成为北衙禁军，鱼朝恩以观军容宣慰处置使知神策军兵马使。神策军的势力急剧发展，京师附近一些地区隶属于神策军。
神策军除了担负保卫宫城和皇帝的任务，还频频作为野战部队从事征讨，因而在地方上设置神策行营及节度使。大历十四年（779）唐代宗去世唐德宗继位，剑南西川藩镇（驻益州，今四川省成都市）节度使崔宁入长安，吐蕃乘机联合南诏，合兵十万，分三路入侵四川，占据了一些地盘。唐德宗派右神策都将李晟（shèng）率领四千神策军，配合其它系统的唐军抵抗吐蕃，大获全胜。建中二年（781），魏博藩镇（驻魏州，今河北省大名县）节度使田悦叛乱，围攻河北州县，唐德宗以李晟为神策先锋都知兵马使，带领神策军，协同其它藩镇军队赴河北救难，大败田悦。建中四年（783），唐德宗调发泾原镇（驻今甘肃省泾县）士兵五千人赴河南讨伐叛乱。这些士兵路过长安，因朝廷未给犒赏，让吃些粗粮菜饼，遂发动政变，攻入皇宫，抢劫财物。唐德宗仓皇逃至奉天（今陕西省乾县）。居住在长安的前泾原节度使朱泚（cǐ）被叛兵拥立为大秦皇帝，发兵围攻奉天。正在河北前线平叛的朔方镇节度使李怀光和李晟星夜兼程回救奉天，李晟被授以神策行营节度使职务。李怀光击败朱泚别军，朱泚退守长安，奉天之围解除。兴元元年（784），李怀光转而叛唐，与朱泚勾结。唐德宗部署李晟对付朱泚、李怀光，自己匆忙逃往梁州（今陕西省汉中市）。李晟痛创朱泚军，收复了长安。朱泚逃走，为部下杀掉。唐德宗从梁州返回长安，"以神策兵有劳，皆号'兴元元从奉天定难功臣'，恕死罪。中书、御史府、兵部乃不能岁比其籍，京兆又不敢总举名实"。（《新唐书》卷50《兵志》）同时，唐德宗把神策军分为左右厢，任命宦官窦文场和王希迁分别为神策军左右厢都知兵马使。贞元二年（786），神策军左右厢改称为左右神策军。十年后，唐德宗在北衙禁军中特设左右护军中尉监和中护军监各二人，由宦官担任。于是，以窦文场、霍仙鸣分别担任左右神策护军中尉监。从此，宦官统领禁军制度化。皇帝所以任命宦官统领禁军，是因为总结了安史之乱以来的教训，认为武将掌握兵权不可靠，而宦官是宫内家奴，不至于有称孤道寡的危险，而且皇帝自幼便由宦官侍奉饮食起居，自认为感情融洽，能够忠于自己代表自己。因此，当王叔文集团在永贞年（805）谋夺宦官兵权时，时人韩愈作《永贞行》说："北军百万虎与貔（貔貅，píxiū，传说中的猛兽，比喻勇猛的军队），天子自将非他师。"（《全唐诗》卷338）
神策军独占鳌头，享受着多出其它军队两三倍的优厚待遇，还建立了北军狱，因而藏污纳垢，为非作歹，对社会具有相当大的负面作用。《新唐书》卷50《兵志》指出：神策军"募坊市不逞，诬捕大姓，没产为赏，至有选举（科举选官）旅寓而挟厚资多横死者。……神策兵既发殆尽，……阴以市人补之，名隶籍而身居市肆。……军司之人散处甸内（京畿地区），皆恃势凌暴，民间苦之。……长安奸人多寓占两军，身不宿卫，以钱代行，谓之纳课户，益肆为暴，吏稍禁之，辄先得罪，故当时京尹、赤令皆为之敛屈（收敛屈服）"。
文献提供了具体事例。《唐语林》卷1《政事上》说："京城恶少及屠沽商贩，多系名诸军，干犯府（京兆府）、县（长安县、万年县）法令，有罪即逃入军中，无由追捕。"《酉阳杂俎》前集卷8说：京师恶少"恃诸军"；有个号三王子的人，"前后合（应该）抵死数四，皆匿军以免"。王建《羽林行》诗说："长安恶少出名字，楼下劫商楼上醉。天明下直明光宫，散入五陵松柏中。百回杀人身合死，赦书尚有收城功。九衢一日消息定，乡吏籍中重改姓。出来依旧属羽林，立在殿前射飞禽。"（《全唐诗》卷298）这里所说"有收城功"的羽林军，系用西汉典故影射神策军，因为北衙禁军中只有神策军有编为行营平定叛乱、收复京城的功绩。白居易《宿紫阁山北村》诗说："晨游紫阁峰，暮宿山下村。村老见予喜，为予开一樽。举杯未及饮，暴卒来入门。紫衣（身着紫色官服的低级官吏）挟刀斧，草草十馀人。夺我席上酒，掣我盘中飧（sūn，食品）。主人退后立，敛手反如宾。中庭有奇树，种来三十春。主人惜不得；持斧断其根。口称采造家（砍树者自称是为官府建造房屋的人员），身属神策军。'主人慎勿语，中尉正承恩！'"（《白居易集》卷1）
神策军的肆虐，有时到了祸及官员正常职责的地步。皇帝由于禁军同自己利害的一致性压倒了对民间治安的考虑，再加上皇权受着宦官的钳制，往往站在禁军一边，加以偏袒和保护。唐代原来一直执行御史每季巡察京城诸司、诸使、府、县在押囚徒的制度，但北军狱设置后，却是例外之处，御史不曾前往巡察。贞元十九年（803），一位监察御史不熟悉时事，径直前往，被神策军中尉汇报。唐德宗大怒，把这位御史杖打四十下，流放到崖州（治今海南省琼山县东南）。这样，地方长官处理相关问题，就遇到了复杂的背景。但是，并不是所有的京兆尹（首都城市的市长）"皆为之敛屈"。作为官僚士大夫，他们对于宦官干政专权极度仇视，把宦官掌领的神策军看作宦官势力，因而捕捉时机进行打击，如果身怀正气，有胆量陈述理由和实行镇压，也能取得成效。元和四年（809），京兆尹许孟容逮捕了左神策军吏李昱，要治其借钱不还之罪，闹得"一军尽惊"。唐宪宗一再命许孟容把李昱送回本军，但许孟容拒不执行，说："臣诚知不奉诏当诛，然臣职司辇毂（京师），合为陛下弹抑豪强。"唐宪宗只得允许，一时"豪右敛迹"。（《唐会要》卷67《京兆尹》）元和十一年（816），新任京兆尹柳公绰赴府上任，途中，一位神策军小将不但不回避，甚至乘马横冲柳公绰的前导人员，柳公绰于是把他杖杀于街市之中。唐宪宗大怒，追究柳公绰的专杀之罪。柳公绰说："京兆为辇毂师表，今视事之初，而小将敢尔唐突，此乃轻陛下诏命，非独慢臣也。臣知杖无礼之人，不知其为神策军将也。"唐宪宗责以"何不奏对"，柳公绰说："臣职当杖之，不当奏。"唐宪宗问"谁当奏者"，柳公绰说："本军当奏。若死于街衢，金吾街使当奏；在坊内，左右巡使当奏。"唐宪宗无法怪罪他，退朝后对宦官们说："汝曹须作意此人，朕亦畏之。"（《资治通鉴》卷239）韩愈在唐宪宗时因谏阻迎法门寺佛骨，并建议把佛骨焚烧销毁，险些被杀掉。长庆三年（823），他被唐穆宗任命为京兆尹，一向桀骜不驯的"六军将士（这则引文前文有'神策六军之将'语）皆不敢犯"，私下相互议论道："是尚欲烧佛骨者，安可忤（冒犯）！"于是京师秩序井然，"盗贼止"。（李翱《李文公集》卷11，《故正议大夫行尚书吏部侍郎上柱国赐紫金鱼袋赠礼部尚书韩公行状》）不少京兆尹也都敢于蔑视神策军，镇压受其庇护的恶少年。上述"三王子"和"恃诸军"的恶少，前者由杨虞卿派出五百人进行捕获杖杀，后者在薛元赏上任三日之时，令里长悄悄逮捕其中三十多个，全部杖杀弃市。此外，刘栖楚"诛罚不避权势"，对于逃入军中的恶少等，"一皆穷治"，因而"坊市奸偷宿滑屏迹"。曾有一个士兵，乘醉在市中横冲一位儒生的驴而过，旁边的诸少年惊呼道："痴男子，尚敢近衣冠也！"（《唐语林》卷1）大和九年（835）爆发甘露之变，宦官首领仇士良时任左神策军中尉，出动神策军屠杀外朝官吏和市民。宦官凌驾于朝廷和百官之上，"神策将吏迁官，多不闻奏，直牒中书令覆奏施行，迁改殆无虚日。"京兆尹张仲方对于"禁军暴横"不敢过问，宰相李石等人任命薛元赏接替其职务。薛元赏见一个神策军将在李石办公处大吵大闹，于是逮捕这个军将。仇士良急忙派宦官宣召薛元赏，以营救军将。薛元赏说："属有公事，行当继至。"他立即打死军将，然后去见仇士良。仇士良质问他道："痴书生何敢杖杀禁军大将？"薛元赏答道："中尉大臣也，宰相亦大臣也，宰相之人若无礼于中尉，如之何？中尉之人无礼于宰相，庸可恕乎？中尉与国同体，当为国惜法。"（《资治通鉴》卷245）仇士良只好作罢。这些京兆尹的行动，对于抑制神策军势力，整饬风俗，维护治安，有着不可估量的积极作用。
左右神威军的前身是唐肃宗至德二载（757）设置的殿前射生左右厢，唐德宗贞元二年改称为左右射生军，次年正式定名为左右神威军，以宦官张尚进、焦希望为监左右神威军使。元和三年（808），唐宪宗废除此军，与英武军合而为一，称为天威军。元和八年，又废除天威军，其士兵划归左右神策军。
