耿飚在1925年加入中国共产主义青年团，1928年转入中国共产党。
此后他担任过中国工农红军第三军师干部教导队队长，第一军团团参谋长、团长、师参谋长。在两万五千里长征时，耿飚是前卫部队红四团团长。在抗日战争中，他担任八路军129师385旅副旅长兼副政委和参谋长。1944年后，担任晋察冀军区副参谋长。
耿飚和叶剑英结下深厚友谊，是在抗日战争结束之后：1946年1月，叶剑英作为“军调处执行部”的中共代表前往北平，耿飚担任中共方面交通处处长、副参谋长，与叶剑英共事。所以，耿飚成了叶剑英的部下。那时，耿飚随代表团住在北京饭店，而叶剑英则住在东华门附近的翠明庄。精明的耿飚居然在叶剑英住处发现了国民党特务埋在地毯下的窃听器。叶剑英把国民党代表约到翠明庄来，耿飚当场掀开地毯，挖出窃听器，使国民党代表十分尴尬……
在国共和谈破裂之后，耿飚出任中共第19兵团副司令员兼参谋长，作为“杨罗耿兵团”的三巨头之一，转战华北、西北。
耿飚是正儿八经的将军，可是，后来耿飚却奉命“改行”，去当外交官了。耿飚先后担任了中国驻瑞典、巴基斯坦、缅甸大使，外交部副部长。
在“文革”中，耿飚被打入“牛棚”。
当中共九大即将召开时，外交部的中共党员们选耿飚为九大代表，可是外交部却有人借口耿飚尚在“牛棚”，还在接受“审查”，把耿飚的名字从代表名单中划掉。此事被周恩来获知，报告毛泽东，毛泽东同意把耿飚列入中共九大代表名单。这下，耿飚也就结束了“牛棚”生活。
于是，在1969年5月，耿飚被任命为驻阿尔巴尼亚大使。
1971年1月，耿飚因病回国休养。病愈后，经周恩来提议，任命耿飚为中共中央对外联络部部长。
耿飚为人正直，上任不久便得罪了江青。
本来，江青跟中共中央对外联络部没有什么工作联系。一桩小事，使她领教了耿飚的脾气：
江青此人，颇爱摄影，又爱出风头。她想在《人民画报》上开一个她的摄影专栏，不断发表“峻岭同志”的摄影作品。“峻岭”，也就是江青的笔名。
《人民画报》是以多种文字向世界发行的杂志，属于外文出版社。外文出版社又属外文局领导，而外文局则归中共中央对外联络部管辖。由于江青的地位特殊，《人民画报》打了报告向外文出版社请示，外文出版社把报告转到外文局，外文局上报中共中央对外联络部，也就到了耿飚手中。耿飚认为，《人民画报》无此先例，江青企图凭借她特殊的政治地位破例，不行！
消息飞快地传进江青的耳朵。江青为此大大地生了耿飚的气，以致有一回在春节团拜会上，江青逐一与参加团拜的领导人握手，等见到耿飚时却一扭头！站在耿飚旁边的李先念发觉了这一“细节”，问起耿飚来，方知为了《人民画报》的事，江青对耿飚竟一直耿耿于怀……
当然，《人民画报》的事，只是小事一桩罢了。在江青看来，耿飚和外交界的姬鹏飞、黄镇一样，都是“周恩来的人马”。所以，江青对他们很恼恨。
在粉碎“四人帮”的紧急时刻，叶剑英急调耿飚这位有着多年“文官”经历的武将。
耿飚后来在1998年出版的《耿飚回忆录》中这么写及：
（1976年10月）6日晚上8点来钟，我家中的红机子电话铃响了，是华国锋本人的声音。他要我坐自己的汽车，迅速赶到中南海怀仁堂。
一进中南海西门，我见到岗哨比平时增多了，有一种紧张的气氛。走进怀仁堂，看见华国锋、叶剑英同志正与北京卫戍区司令员吴忠等在交谈。
这时我才知道，华国锋和叶剑英在征得中央政治局多数同志同意后，已对江青、张春桥、王洪文、姚文元及其在北京的帮派骨干实行隔离审查。
华国锋同志立即向我交代任务：“你和邱巍高（北京卫戍区副司令员）到中央广播事业局去，要迅速控制住电台和电视台，不能出任何差错，否则后果不堪设想。”
叶帅郑重嘱咐我：“要防止发生混乱，防止泄密，注意安全。”
华国锋同志问我：“你要不要带支手枪？”
