孔子答应要做官，但没有答应要去阳虎手下做官。4年之后，孔子在鲁国步入官场，51岁时当了“中都宰”（县长）。据史料记载，他在中都颇有政绩，成了其他地方官员学习的楷模。因名播一时，在52岁时进入朝廷做官。先是管了一年工程，后来当了大司寇，专管司法，地位很高，与鲁国三家世卿贵族同列。这时，孔子进入了上层社会。但是，好景不长，在他55岁时，便失势下台了。
这是为什么呢？一个主要的原因是孔子在台上时，主张以武力拆毁季氏等三家大贵族在他们各自领地上的城堡削弱贵族的实力，以加强国君的力量。这一举措，刚开始还行得通，硬是拆毁了一个贵族城堡。往下，则行不通，遭到了大贵族及其家臣的武力反抗。孔子失败了，而且得罪了大贵族，自己的官位当然岌岌可危。正在这时，鲁国的邻国即齐国趁机搞美人计，给鲁国国君送来80个美女组成的歌舞队，还有120匹良马。目的是让鲁国的统治者沉溺美色，玩物丧志，以便有朝一日成为齐国的阶下囚。鲁国的统治者不知邻国在用计，以为是友好的表示，收下美女和良马。果不其然，收受者上当了，酣醉在温柔乡里，三日不朝。
孔子看到这种情形对鲁国的统治者太失望了，深深感到在鲁国不能推行自己的政治主张，必须离开鲁国，到别的诸侯国去宣传、推行自己的政治主张。
于是，年过半百的孔子和自己的一些学生离开了鲁国，不远千里，先后去了6个诸侯国。可惜，没有一个国家接受他的政治主张，在外流亡了14年，始终没有一个国君启用他。
在流亡期间，有时断粮，他和他的学生只好饿肚子，以致饿倒了的学生站不起来；有时遇到危险，别人要加害于他们，生命危在旦夕。每当遇险的时候，孔子总是镇定自若，不改初衷，勇敢地同困难和恶人作斗争，终于化险为夷。
孔子希望求仕行道，不辞劳苦而奔走四方。自己也知道，这样努力未必能够得到成功，但他又不甘心自己的政治主张化为乌有。他的这一番苦心并不为世人所理解。有的人讥笑他不识时务，说他“知其不可而为之”。有的人骂他是失去了主人的“丧家之犬”。一位老农民认为他这是徒劳的，白白浪费时间，还不如去耕田种地，因而对孔子产生厌恶，说他“四体不勤，五谷不分。”有位装疯的贤者警告孔子：“过去的事不堪回首，未来的事谁也不知道，你忙些什么呢？你算了吧，眼下的情况你还未看清楚，求仕从政的人多危险呀！”孔子想与这位贤者交谈，可是，贤者讲完就跑了，“不得与之言”。孔子的学生子路向两位隐者问路，隐者不给指路，反而教训子路说：“天下到处都像洪水一样乱糟糟的，谁能改变呢？你与其跟着孔丘去改革社会，还不如跟着我们逃避这个社会。”子路把隐者的话告诉给孔子，孔子依然说道：“与山林鸟兽生活在一起的隐者是不可以同群的，我不和那些社会改革者在一起和谁在一起呢？天下如果有道，我孔丘何必参与改革呢？”
孔子是个意志坚定的人，不管别人怎样讥笑议论，也不管遇到怎样的挫折，他都不放弃自己的理想，苦苦追求，自强不息。孔子69岁时回到了鲁国，但他仍不悲观，把残年余力用在教育和文化古籍的整理工作上，通过这些以继续传播他的思想并寄希望于青年人。
他的晚景并不美好，妻子、儿子、得意的学生相继去世了，几乎成了孤老头子。一代哲人在他73岁那年病倒了，别世前一周的早晨，他扶杖倚门，自吟自唱：“泰山坏乎！梁柱摧乎！哲人萎乎！”歌罢临窗而坐，说：“我将要死了。”果然，“寝疾七日而没。”在于丹眼里：孔子是一个朴素而温暖的长者，他不爱说话，有次他上课时感叹：“予欲无言”，我想不说话了。学生问，老师你不说话，“小子何述焉？”我们转述什么呀？孔子淡淡地说：“天何言哉？四时行焉，百物生焉，天何言哉？”孔子就是这样重身体力行，胜过言传。
孔子一生二事，一个是奔走各国，一个是教书育人，结果他这三千学生中出了七十二贤人，传播取得成功，育人结出硕果，孔子死后三百年被汉武帝封为万世师表。
