张元芳，字宗五，祖籍南京，明初迁居太原府阳曲县（今山西省太原市阳曲县）。曾祖父张晏，曾祖母马氏。祖父张邦辅，祖母李氏。父亲张鮥，擅长冶铸和制弓之术。母亲陈氏，娴明勤笃，慈教有方。张元芳自幼受到良好的家庭教育。稍长，臂力过人，素怀大志，胸有韬略。