在古代宗法社会中有姓有氏，姓以纪起源，氏以纪其流。孔子先世原为子姓，自孔子六世祖孔父嘉起，因“五世亲尽，别为公族”，乃以字为氏，是为孔氏之始。至孔子时，姓氏不再两存，以氏为姓，所以孔族尊孔子为一世祖。
孔子有儿名孟皮，当然也姓孔。其子孔忠，字子蔑，也是孔子的弟子之一，但其后无传。孟皮有女，由孔子主婚，嫁给他的弟子南宫适，其子孙已非孔氏。所以后世孔姓基本上都是孔子的后裔。
孔子生孔鲤，字伯鱼，是为二世祖；鲤子孔伋，字子思，是为三世祖。其后有白、求、箕、穿、谦等共8代都是单传。孔谦生了鲋、腾、树三子，可是孔鲋之后只传了8代即绝。孔树传了6代，亦绝。只有孔腾的子孙传了下来，世代繁衍，人丁兴旺，成为后世的孔族。这也是件巧事，历代都有独子。如果其中任何一代绝嗣，那也就没有孔族了。
孔鲤所以名鲤，有个传说是因出生之日正巧鲁昭公赐给孔子一条鲤鱼，因以为名，可是孔子当年才20岁，不过在三卿之一季氏家里当个委吏，不大会因生子而受鲁君之赐。所以也有人说，可能是孔子事先参加了鲁君捕鱼为娱的活动，例可得赐，非因生子。两说不知谁是。然而，后世孔族为避二世祖名讳，
习惯上把鲤鱼称为红鱼或福鱼。祭祀时也不用鲤鱼。
孔鲤生平，无多事迹可述。宋徽宗追谥为“泗水侯”。
孔伋上承曾子，下启孟子，后世尊为述圣，孟子受教于子思，继承和发扬了孔子思想，被称为思孟学派。传子思为《中庸》作者，有人存疑，宋徽宗追谥之为“沂水侯”。元文宗又追谥为“沂国述圣公”。
孔鲋是孔子九世孙，又名甲，字子鱼，秦末儒生，因抗拒秦始皇的焚书、不避危祸，将家藏儒学典籍如《论语》、《礼记》、《孝经》等偷藏于孔子故宅墙壁内，自己参加了陈胜起义的农民军。不久又因政见不合，辞退隐居。藏书的秘密也随他而终。
直到100多年后，汉景帝封其子刘余为鲁公王，都于曲阜，为扩建宫室，拆去孔子故宅，不料在夹墙里发现了当年的竹简藏书。字为蝌蚪文，与当时习用经典的内容有所不同，被称为“孔壁古文”。秦皇焚书，孔鲋藏书，破坏与保存中国文化成为鲜明强烈的对比。
自汉武帝“罢黜百家，独尊儒术”之后，孔子的地位日益尊崇，孔子学术被封为万世不易的经典和历朝历代的官方意识形态，孔子从一个没落贵族的子弟，到被称为“素王”——无冕之王。孔子个人也被一再追封加谥，在“褒成宣尼宫”到“文宣王”、“大成至圣文宣王”，一直到“大成至圣先师”，与先祖地位共同进阶的，是嫡传子孙的位阶。
刘邦一统中原后，于公元前195年过鲁，“以太牢祀孔子”。同时封孔子九世孙孔腾为“奉祀君”，令其主持孔子祀事。后来汉元帝诏以孔子第13代孙孔霸以所食邑托孔子，这是孔子后裔世袭爵位奉祀的开始。
数十代间，孔子嫡传由“君”而“侯”，至唐玄宗年间，改封孔子第35代孙孔之为文宣公，这一爵位一直沿袭到宋仁宗至和二年（1055年），当时仁宗赵祯认为：“追谥孔子为文宣王而遵以王爵，封其嗣褒圣为文宣公，孔氏子孙去国号而袭谥号，礼之失也。”因而，改封孔子第46代孙孔宗愿为衍圣公，后来一度有改为“奉圣公”，但旋即于崇宁三年（1104年）又改为衍圣公。
从此，衍圣公这一爵位一直沿袭了长达八百余年。
