伊集院の一宇治城主紀時清が、城の守り神として安置したとされている(1180年頃)。天文19年（1550）に島津貴久が一宇治城を攻め落とし、毘沙門天を日吉へ移したと伝えられている。