他是父亲家庆的二十五名子女中唯一一个长大成人的孩子。家庆下令，不得让家定吹到一丝凉风，将他养在只有女子的大奥之中。众所周知，家定厌恶尽是男子的表，对政治自然没有兴趣。
他无法在家臣面前长时间保持正坐姿势，听到复杂的政治问题，甚至还会时而发怒，时而悲伤。如此心性，自然会令人担忧，因此他从小面临着被暗杀的危险。
来到祖父家齐居住的西之丸时，他从不吃任何东西，连茶都不敢喝一口，这是要防止毒杀。家定尤其喜好在大奥之中切菜煮菜，想必也是要防范周围人下毒，近来甚至亲自动手做起了包子。
伺候在家定身旁的人向阿部老中汇报：“右大将大人的技巧越发熟练，今日一时兴起做起了蛋糕，那可真是美味至极。”
老中喟然叹道：“三十好几的人，竟在青天白日下做起了蛋糕……”
家定年少时，曾前往小金原猎鹿，凑巧打中了一只小兔，不料陪同的女中们纷纷泪洒当场：“您怎能做出如此残忍之事……”
齐彬听说，听闻女中们的哀叹，从此以后家定便不再碰触动物。
臣子分为两派：一派认准了家定是个傻子，疾病蔓延到大脑；另一派则认为家定虽体弱多病，但是洞察力极深，实乃贤君。至少，他不像九任家重那般，连话都说不清楚。
然而，伴随着家定的成长，他越发厌恶与人接触，对大奥之外的事情全无兴趣。人们自然担心起了继嗣问题。
前任家庆（去世后称慎德院大人）对家定的未来忧心忡忡，家定十八岁时，家庆在京师物色许久，最终帮他迎娶了关白鹰司政熙之女有君。
齐彬对这场婚礼记忆犹新。当时他尚未继承家督之位，好在大伯母广大院尚在人世，使他随着父亲齐兴一同参加了婚礼。
家定和有君在谒见之间中一同出现的时间不长，但齐彬对皮肤白皙、面容纤细的有君印象深刻，感叹她不愧是京师女子，美貌过人。
有君擅长花鼓，不时为公公家庆助兴，跟家定的关系十分融洽。不幸的是，在七年的婚姻生活过后，她因天花英年早逝。
家定极度悲痛，终日以泪洗面。
当时岛津家因“由罗骚动”忙做一团，齐彬尚未继承家督，只是听说家定失去夫人之后，越发讨厌跟人接触了。
在七年的婚姻生活中，有君并无怀孕迹象，使得周遭人日渐忧虑继嗣的问题。有君去世后，大奥立刻物色起新夫人。家定难以忘怀有君，主动提出：“要从京师找。”
于是，在姊小路的斡旋下，关白一条忠良之女明君来到大奥。时值有君去世次年，嘉永二年十一月。
家定听说来人乃公家之女，便情不自禁地联想起了有君，翘首期待新夫人的到来。周围的女中们也希望御台所能尽快来到，辅佐体弱多病的家定。
此事发生在齐彬继承藩主之前，他也只是听到了些传闻。据说载有明君的花轿抵达大奥之后，老女泷山在靠近房屋的那一侧说道：
“明君大人，请您下轿。”
