根據Giordano等人的研究，大概有20%的患乳癌的男性病人，其家族中都有親人患有類似的疾病。因此，遺傳因素是男性乳腺癌發生的重要原因。但更多的誘發因素還是來自於後天。不管是先天因素還是後天因素所導致，雄性激素缺乏、雌性激素分泌過多的男性，都更容易罹患乳腺癌。 因此，雌性激素治療便成爲男性乳腺癌的病因。在治療諸如前列腺等男性疾病時，病人服用的一些藥劑中間含有一定的雌性激素。這種治療可能會增加乳癌的患病機會。不過，相對於治癒前列腺的療效，這種影響甚微。而變性男子由於大量服用雌性激素，乳癌的發生機會大大增加。
肝病出問題也可能會導致男性乳腺癌的發生。肝臟由於製造在血液中攜帶荷爾蒙的結合蛋白質，從而在性激素代謝中佔有舉足輕重的地位。這些結合蛋白能夠影響荷爾蒙的活性。肝臟嚴重不好的男性，例如肝硬化的男性，他們體內分泌的雄性激素偏低，雌性激素偏高，還有乳腺癌飲食。所以他們相對而言比較容易患上男性乳房發育症或者乳癌。