２０世纪７０年代初，国际恐怖主义活动盛行，并已向前苏联蔓延。１９７３年，一架雅克－４０型客机在伏努科沃机场遭到４名武装歹徒劫持，机上旅客全部被绑架而沦为人质，前苏联国家安全委员会（克格勃）和内务部联手采取紧急行动才解救了人质，这一事件在前苏联国内造成了巨大震荡，人们精神紧张，从而也引起了前苏联领导层的高度重视。
当时，前苏联正在全力准备１９８０年的莫斯科奥运会，而在１９７２年慕尼黑奥运会期间，中东恐怖组织“黑九月”闯入奥运村，绑架并杀害了１１名以色列运动员。此事引起全世界的震惊，也给前苏联极大的触动。为预防慕尼黑奥运会以色列运动员被伊斯兰原教旨主义恐怖分子绑架后惨遭杀害的一幕再次发生，保卫预定于１９８０年在莫斯科召开的奥运会，同时，应付前苏联国内已经出现的恐怖主义苗头，前苏联领导人决定尽快建立一支受过良好职业训练，并可以在国内外随时随地用于打击恐怖主义的特种部队。打击劫机、绑架、暗杀、爆炸等恐怖活动，于是，“Ａ小组”应运而生。
１９７４午７月２９日，当时任前苏联国家安全委员会主席，后来成为苏共中央总书记的尤里?安德罗波夫签署了一项绝密命令，决定在克格勃系统内组建―支完全新型的绝密部队，其主要任务是打击恐怖主义。一般人都将其称为“阿尔法”部队，但特种兵都称其为“Ａ部队”。同时，安德罗波夫的命令只有一份手稿，他甚至没有让他最信任的打字员重新打印一份。这支完全新型的、绝密的部队的主要任务是什么，当时只有极少数的军官知晓。
现在关于这一决定有多种说法：Ａ是字母表中的第一个字母；是克格勃主席安德罗波夫姓名的第一个字母；Ａ代表反恐怖等。在该部队隶属的第７（作战调查）局经常简称其为ＮＮ，或尼古拉?尼古拉耶维奇（意指外部观察）。在“阿尔法”近３０年的历史中，创造了一系列的奇迹，代价也是奇迹的：在过去进行的营救人质过程中，没有造成一名人质的死亡。但那次莫斯科人质营救行动是个例外。这一部队的军人可在３５周岁时退休。这也说明了其工作强度是如此之大，更承受着巨大的压力。同年９月２５日，正式确定了部队指挥官，即前苏联英雄、边防军人维塔利?布别宁。组建之初，“阿尔法”部队就已身负重任，因此，该小组对入选的成员可谓“万里挑一”。“阿尔法”部队首批成员不超过３０人，他们全部是身手不凡的克格勃青年军官，并且，全都是通过了严格考试后，才得以跻身于这支最精锐的特种突击队。
１９７７年１１月，“Ａ部队”指挥官更迭，代替布别宁的是克格勃第７局的成员根纳季?扎伊采夫，并一直服役到１９８８年１１月。１９９２年，俄总统下令，重新任命他为该部队指挥官。现在已成为将军的他表示：“‘阿尔法’部队的名称是记者于１９９１年想出的。当时，政府已经开始利用我们清除前苏联各共和国内的反对派运动。当国家领导人对在维尔纽斯牺牲的同事维克托?沙茨基赫拒绝承认时，这一部队首次被曝光。然后又有传闻称，在维尔纽斯的电视中心工作的人称克格勃的特种部队为‘阿尔法’。于是，这一名称立即出现在各家报纸的版面上，并随即转移到正式文件中。但这一部队的老兵和新兵仍喜欢使用老名称，即‘Ａ部队’，而‘阿尔法’则更常被一般人所使用。”同时，也有人将这一部队称为“别动队”。
“阿尔法”别动队隶属于联邦安全总局，这支武装力量具有以下特点：一是执行特种任务；二是具有独特的组织结构；三是政治上具有绝对可靠的信赖性；四是经过特别挑选、训练和专业技术教育；五是直接隶属于最高行政当局；六是参与任何级别的冲突和战争。这支在克格勃领导下的特种部队与国家安全和军事情报密切相关，在情报、侦察、监视以及对实际的或潜在的敌人的资料收集和处理方面，特种部队是一个疏而不漏的网。
