五指姜的来历在当地流传很多。其中一个民间传说是，《白蛇传》中的白娘子因端午节吓死许仙，去昆仑山盗仙草。盗得仙草后，鹤鹿两童子紧追不舍，白娘子筋疲力尽，慌忙中撞上了五指岩，白娘子从山顶滚到山下，仙草抛在山坡上，醒来时，满地都长满了仙草，白娘子就挖了其中一块匆匆赶回杭州，救活了许仙，这仙草后来就在五指岩下繁殖，成了名闻遐迩的五指姜。