北魏建义元年(528)置小乡县，属南绛郡。 隋开皇十八年(598)改曰汾东县，大业初并入正平县。 义宁元年(617) 复置小乡县，唐武德九年(626) 废。 故治说法有二：一说在今山西翼城县西二里，一说在山西汾城和曲沃之间。