今をさる２００年以前一人の行者がやってきて、ここで修業したことから社が祭られたといわれている。悪天時、神火が燈り危うく難を免れたという伝説を持つ「火ともし岩」が社の裏にある。

この行者様は、九州に３か所位しかないといわれ有名なお祭りとして知られている。