言い伝えでは、昔この近くにある暖窯で修行する開祖は、いつ悟りが開かれるかも分からずに、時が経つに連れて嫌気が指し、還俗しようと考えた。家に帰る途中、回龍村を通った彼は、お婆さんが道端の赤い岩で鉄棒を磨いているのを見て、妙に思ったため、その訳を聞くことにした。｢娘は嫁ぐのに、刺繍針を欲しがっている｣とお婆さんは言う。｢こんな太い鉄棒は、どれだけ磨いたら針になれるのですか？｣と開祖は尋ねる。お婆さんは、｢天下に難事なく、鉄棒も針に磨ける｣と言ってから姿を消した。目から鱗が落ちた開祖は、これは｢修行の時、寂しさに耐えねば、確たる信念と真心を持たねば｣という観音菩薩からの啓示だと分かった。そして、戻って修行を続けることにした彼は、終に悟りが開かれ仙人となった。回龍村もこのことで名を得た。