日本家纹的历史大致可以回溯至千年前的平安时代初期，那时贵族公卿的交通工具是牛车，每逢祭典或宫廷惯例仪式，停车场挤满了一大堆牛车时，会分不清哪辆牛车是自家的。由于牛车上涂了黑漆，贵族们便在黑漆上画上泥金花纹以为辨认符号，这就是家纹的来源。之后，延伸至衣服、家具、装饰品，等等。
武士家纹的兴起比较晚，大约在平安时代末期，源、平二氏争权那时。当时在战场上为了区别敌我，源氏悬白旗，平氏挂红旗，这习惯一直延续至现代。例如除夕夜现场转播的NHK“红白歌合战”（こうはくうたがっせん／ko-haku Uta Gassen）、学校的运动会对抗赛、车站前商店街的摸彩活动、祭典帷幕……都用红白（こうはく／ko-haku）两色。
商店街的摸彩活动是让消费者摇一个装有红、白珠子的箱子，倘若摇出白色珠子，表示中奖。有些商店街的大奖是国外旅游机票，不可小觑。各个商店街通常在夏天祭典以及过年关时会举办摸彩活动，遗憾的是，我至今从未抽到大奖，顶多抽到五盒包装的面纸袋或十二卷包装的卫生纸袋。
而在源、平两氏的红白旗帜浴血奋战中，敌我双方的武将为了证明自己的战绩，又各自悬挂自己的战旗或帐幕，这就是武士家纹的由来。
到了天下太平的江户时代，家纹失去了战争时的实用性，变成辨认门第高低的象征，在庶民间也流行开来。当时庶民不能公称姓氏，但不代表庶民完全没有姓氏，只是不能在户籍上冠姓而已，平时只得以家纹代用。
只是，庶民喜欢模仿著名历史人物的家纹，再另外设计出自己的家纹，所以不能因为家纹类似，便误以为对方是织田信长或丰臣秀吉的后代。
明治维新以后，阶级制度瓦解，人人平等，家纹流行得更旺盛。但是在昭和时代败战后，欧美文化成为人们向往的文明指标，家纹被蒙上军国主义、封建社会的色彩，逐渐衰落。目前一般家庭只有在正式传统礼服或墓碑上才用得到。
日本最有名的家纹是天皇家的“十六瓣八重表菊纹”，这个不能乱用，甚至连亲王家也不能用，因为菊花相当于国徽。日本护照上以及国会议员徽章的花纹正是菊花，只是仍与天皇家家纹有小小区别，是“十六瓣一重表菊纹”。
不过，菊纹有替代纹，就是桐纹，这是往昔天皇家御赐给立功者的徽章。现代日本内阁总理大臣的徽章与五百元硬币的图章都是“五七桐花纹”。换句话说，菊纹代表天皇，桐纹代表政府。
此外，神社和寺院都有其固定的“神纹”（しんもん／Shinmon）与“寺纹”（じもん／Jimon），而历代都是神官或住持的家系，家纹等同于“神纹”或“寺纹”。
另外还有一种非常特殊的“女纹”（おんなもん／Onnamon），主要分布在关西地区，是一种由母亲传给女儿、再传给外孙女的“母系纹”（ぼけいもん／Bokeimon）。这是江户时代中叶兴起的习俗，以濑户内海沿岸为中心，逐渐扩展到西日本而扎根。
因为关东地区是武士社会（武士文化），出嫁的女人等于泼出去的水，正如日本有句谚语说的“女人三界无家也”那般，凡事都要遵从夫家家风。然而关西地区不一样，是商业社会（庶民文化），习惯把儿子送到别家店铺吃苦，再从自家伙计中挑出杰出人才，让女儿招赘并继承店铺。之后关西地区虽然也演变为男性社会，但“女纹”风俗一直没被淘汰。
