王阳明有据可查的第一位祖先是晋朝的大好人王览，对他的同父异母哥哥王祥而言，王览是个救苦救难的慈悲菩萨。王览的亲母常常莫名其妙地殴打王祥，有一次，王览亲母想要毒死王祥，因为王览每天都在监视母亲，所以事先得知。当王祥要喝那杯毒酒时，王览抢过来要一饮而尽。他的亲母魂飞魄散，打落了酒杯。不知是什么原因，他亲母自此后再也没有恢复她的可恶嘴脸。
后来，有人送给王祥一把刀，叮嘱他，佩带此刀的人和他的后代其乐无穷，王祥就把刀送给了王览。王览得到的不是一把刀，而是天上砸下来的好运气，他很快被朝廷任命为光禄大夫（政府名誉顾问）。他的曾孙、大书法家王羲之因爱慕浙江山水，于是带着家人离开山东定居南京。（新发现的王阳明家谱指出，王羲之不是他的直系祖宗，但这没有任何影响，人人都相信王羲之是王阳明的直系祖宗）王羲之之后，王家的祖先又跑到会稽，再后来，王阳明的二十三世祖王寿把家迁到了浙江余姚，此后，王家就再也没有动过窝。
元朝建立时，王阳明的七世祖成了南宋遗民。元朝后期，王阳明的六世祖王纲脱颖而出，一个重要的原因就是，他认识明朝开国功臣刘伯温。据说王纲这人有大将之才，但报国无门；有治世之能，却没有治世舞台。他只好研究《周易》，学会了看相，靠这个养活一家老小。
有一次，他遇到刘伯温，两个神汉一见面，互相吹捧。刘伯温说，我看阁下将来必是名垂青史的人物。王纲把刘伯温送出了深山老林，说，根据祖宗家法，只和植物做好朋友，不理人事。出于礼貌，王纲给了刘伯温祝福：“阁下将来必能青史留名。”他嘱咐刘伯温，你小子发达后，千万别来找我。
刘伯温认为这是客套话，多年之后，当刘伯温成为明朝开国皇帝朱元璋的魔法师兼秘书，便生拉硬扯地把王纲请进了朝廷，让他在国防部当一个司长。王纲这一年已经70岁，但由于常做自我保健，所以保养得非常好，肌肤弹性十足，让朱元璋大为惊奇。
王纲倒霉透顶，很快就遇到了广东民变，朝廷让他担任后勤总指挥。王纲带着儿子王彦达奔赴广东，在一次运粮的路上，王纲被一支民变武装所杀，并且要王彦达入伙。王彦达号啕大哭，请求立死。民变首领大为感动，让他拿羊皮裹了父亲，返回京城。朝廷闻听此事后，欢喜若狂，因为可以树立典型了。但王彦达死活不同意，回到余姚以种地为生。
王彦达临死前警告他的儿子王与准：“别做官。”——这三个字令人心痛，但我们可以想象王彦达用羊皮把他父亲拖回来的情景。王与准谨听父亲遗言，决不做官，但王家的祖宗得到过那把刀，天上掉下来的好运气总会砸在王家人身上。王与准天性敏捷，善于联想，对农活极不在行，于是把他爷爷的本事偷窃过来，为人家算命。
恰适朝廷要各地推荐奇异之士，当地政府立即想到了半仙王与准。王与准很怕父亲从棺材里爬出来找他，所以坚决推辞。地方政府大怒，派人去捉他。王与准只能逃跑，不料厄运当头罩下——他摔断了一条腿。政府只好放掉他，因为政府不需要残疾的异士。
经过此事后，王与准觉得不跟政府走，后患无穷。于是，让自己的儿子王世杰代替自己的奇异之士的身份，政府同意了。
王世杰才高八斗，但为人处世的能力极差，所以很快就在官场中败下阵来，只得跑回家以种地为生。他的老母亲临死前痛心疾首，要他去做官，否则，家人会活活饿死。王世杰只好出来做官，但可惜任命状还没有下来，王世杰就紧随母亲大人而去了。
王世杰之后，王阳明的爷爷王天叙闪亮登场。
世界上最好的老师是家长，王阳明的爷爷王天叙可作为楷模。
王天叙是王世杰的儿子，王世杰死后只给他留下了几筐书，每当看到这几筐书，王天叙就潸然泪下。虽然我们不知道他流泪的真实原因，但有一点可以确定，王天叙不违祖命，死都不肯出去做官。
在关于王天叙的片段记载中，我们知道他是这样一个人：和蔼可亲，但尊严不可侵犯；是个大孝子，只能在背后生闷气。他还是一个思维敏捷、过目不忘的天才；喜欢种竹子，一种观点认为，他种竹子是为在竹子成熟后拿来制作笛子和箫，因为他是个非常有天分的音乐家。
多年之后，有人在王阳明身上看到王天叙的影子，这就是细长的眼睛和美丽飘逸的大胡子。
