黑田家原为播磨（兵库县西南部）小大名小寺政职的家臣。当时织田信长的势力蒸蒸日上，正打算侵攻中国地方。中国地方的原有势力是毛利家，众多当地小大名徘徊在十字路口，不知该选择织田或毛利。
官兵卫说服小寺家其他家臣，最终选择了织田，并代表小寺家主动与织田接触。他在织田面前宣誓愿意当侵攻播磨的向导，并有条有理地说明该如何攻打毛利家，该如何逐步入侵中国地方。
织田听官兵卫说得头头是道，大喜，当下赏给他一把名刀。日后负责平定中国地方的总大将正是丰臣秀吉，于是官兵卫便成为秀吉身边的得力参谋之一。
毛利辉元得知小寺家屈从织田后，派五千大军攻打官兵卫的居城姬路城。官兵卫仅带五百士兵迎击，但事前召集了众多当地老百姓，让他们举旗帜抬阵鼓，躲在己军背后的树林及山中。待毛利军接近时，这些老百姓在树林和山中摇旗呐喊，鸣金击鼓，暂时当虚张声势的纸老虎。毛利军见风是雨，以为织田派援军前来，顿时陷入恐慌状态，不战而溃。
黑田官兵卫三十二岁时才加入丰臣秀吉阵容，此时半兵卫三十四岁，辅助秀吉已将近八年。官兵卫于两年前臣服织田时，按惯例送出独子松寿丸（黑田长政）当人质。信长再把松寿丸交给秀吉负责。秀吉让松寿丸住进自己的居城长滨城（滋贺县长滨市），拜托正室宁宁（于祢，后来的北政所）照顾这个未满十岁的小人质。
半兵卫和官兵卫两人性格完全不同，前者静，后者动，一阴一阳。或许正因为如此，原本应该是竞争对手的两人，交情极好。
丰臣秀吉侵攻中国地方时，黑田不但让出自己的居城姬路城，还帮秀吉当说客，逐次说服周边的小大名向织田信长俯首称臣。
官兵卫攻打西播磨佐用城（兵库县佐用郡）时，首次展现军师本领。他采用《孙子兵法》中“围师必阙”策略，在攻城时故意留个缺口，好让敌军有活路可逃，结果大胜。
翌年（一五七八）十月，摄津有冈城（大阪府伊丹市）城主荒木村重竟然和本愿寺联手，背叛织田信长，还把黑田家主君小寺政职也拉进去。
荒木村重算是织田麾下的优秀家臣，他在该年元旦前往安土城拜年时，出席顺序排在丰臣秀吉前面，这表示信长很看重他。
织田信长听到荒木背叛的消息时，甚至惊诧得不敢相信，但荒木确实倒戈了，叛乱的理由至今仍众说纷纭，真相不明。
黑田官兵卫和荒木有交情，况且主君小寺家也牵扯在内，于是单身前往有冈城，打算说服荒木回心转意。不料，荒木竟二话不说便将黑田囚禁在牢房。荒木在当时为何没立即杀掉黑田呢？这也有众多说法，至今仍得不出可信的答案。
另一方，人在安土城的织田信长因黑田迟迟不归，误以为黑田也跟着一起背叛，大怒之下，不但派兵重重围住有冈城，还命秀吉杀掉在长滨城当人质的黑田家嫡子松寿丸。此时，小寺家眼见织田军来势汹汹，官兵卫又行踪不明，所有家臣都慌了手脚，只得决定与黑田家断绝君臣关系，再度回归织田军团。
然而，在众人都认定黑田已叛变的状况下，只有竹中半兵卫一人深信战友官兵卫绝对不会背叛，他猜测这里头肯定有隐情。
半兵卫从秀吉正室宁宁手中领回松寿丸后，立即将松寿丸藏匿在自己的居城菩提山城内，并通过秀吉向织田谎报已杀死松寿丸。
官兵卫的洞窟牢房位于有冈城西北角，三边都是竹林，阳光射不进，终日昏昏暗暗。而且洞窟面对池子，湿气重，环境极为恶劣，连吃饭也是有一餐没一餐。如此，官兵卫的身体很快就衰弱下去。
唯一能慰藉官兵卫心灵的是从竹林中伸来的藤萝。藤蔓缠住牢房的铁格栅，并于翌年春天开出淡紫色藤花，偶尔亦有小鸟和蝴蝶闻香而来。正是这株藤萝令官兵卫咬紧牙关度过一年的幽禁黑暗日子。
官兵卫于日后订定“藤巴”纹为家纹，据说正是因此而来。不过，小寺家也用“藤巴”纹，只是双方图案不同。小寺家在官兵卫生死不明期间抛弃了黑田家，但官兵卫始终没有背弃主君。小寺家没落后，官兵卫还收留了小寺家后裔。
话说回来，身在姬路城的黑田家近臣当然也不相信主君背叛了织田。几名近臣化为商人潜入有冈城，打听出官兵卫的牢房所在，笼络了狱卒，之后时常来探望官兵卫。
另有个名叫加藤重德的荒木家近臣，本来奉命负责监视官兵卫，却在监视期间和官兵卫频繁接触，反倒对官兵卫的才华敬仰不已，悉心照顾狱中的官兵卫。官兵卫很感激，于日后收养加藤家次子，让他改名黑田一成，视如亲生儿子，待遇甚厚。
黑田一成于关原合战后另立门户，成为一万六千石的黑田家支系大名。因宅邸位于三奈木（福冈县朝仓市），世人通称为“三奈木黑田家”。
三奈木黑田家世代都是福冈藩黑田家家老身份，一直延续至明治时代。明治维新后，三奈木黑田家受封为男爵，挤进华族阶级。
由上述两项事例可以看出黑田官兵卫的性格相当笃厚，并非后代某些小说家或文人所描述那般具有窥觊天下的野心。只是，官兵卫脑筋太灵活，做事当机立断，行动太快，才会令丰臣秀吉觉得如鲠在喉吧。
