由于生母离去，家康从一岁半左右起，便开始在两名寡妇—祖母华阳院与阿久夫人（据说是其祖父清康的姐妹）—的细心照料下成长。她们一边在寂寞的城堡之中吃斋念佛，一边将家康一直抚养到了六岁左右。在这一成长期间，家康接受了一般孤儿无法体验到的特殊的人情教育，也就是那种与妇女念佛生活极其相似的、婆婆妈妈的情操教育。家康本人虽算不上是什么天才，但在常人的眼中，他也是一个才能优秀之人，也许很难说家康是不是对人情非常了解，但至少他对人情怀有同情。有种传说或许就是据此而生的。
那个时代的人，若无法解释某一人物的光环之时，便会赋予其神秘的传奇色彩，如将秀吉喻为太阳之子，将家康喻为十二神将中的寅大将。据说由于家康是生于寅年寅日的寅大将转世，自然就被视为极其有实力的人了。也就是说，在当时的人们看来，他是个很优秀的人物，运气很好，实力也很强大。人们无法知道为什么会出现这么优秀的人物，久而久之，便演变成具有神话色彩的传说。
如此看来，家康倒也不见得就是一个不幸的人。他由此经历各种人生，并得以顺利通过人生的种种难关。他不断地从人生的诸多体验之中获取知识，并得到了周围人的信任与依赖，由此汇聚成了他丰富的人生。
桑田：那么漫长的人质生涯，别说普通人，就连家康这样的大人物都会深受打击。在如此不幸的境遇之中，他无法表达意愿，也无法实现人生抱负，反而背负了很深的自卑感，最终导致遇事谨小慎微。家康的性格确实要比织田信长、丰臣秀吉阴郁。他总是保持沉默，从不轻易地直抒己见，说话总是留有余地。长期为人质的生存环境，造就了他这一个性。这一点和源赖朝颇有几分相似。赖朝也在伊豆的蛭小岛上过了十多年的流放生活。两人所处的环境是那么惊人地相似。因而，家康似乎对赖朝年轻时的环境感同身受，十分崇拜赖朝。
山冈：的确如此。
桑田：如此看来，家康对赖朝的崇拜，也可以看做是他对自己幼年生活的缅怀，正是出于对自己的同情。
山冈：的确如此。虽说家康是乱世的受害者，但乱世的受害者又岂止他一人？当时的人民大众，才应该是真正的受害者呢。战乱之下，几乎所有的高官贵族都逃离京都，细细追究起来，他们也可以算是受害者。天皇的身边竟然都没有了侍奉人员，甚至还有坊间传闻说，连皇宫之中的宫女，都不得不为了糊口而沦为风尘女子。
事实上，所有的人都是受害者。在众多的受害者之中，家康的确是幸运之人，他把每一次受害都当做锻炼，把所有的痛苦都当做通往成功的必经之路。换句话说，家康虽然过着寄人篱下的悲苦生活，但在义元府上撒尿以及观石子游戏这些逸话都是他不屈从于黑暗窘境的亮点，而这些亮点正是他心里的无限寄托。因此，说家康是幸运的受害者，似乎有悖于常理，但毕竟是这样的生活经历，为他能够成为一个富有同情心又能屈能伸的人，奠定了最初的基础。
