戦国時代の天文年間に、文吉という信心深い漁師がいました。ある日嵐で難破したにもかかわらず一命をとりとめました。その夜の夢に弁財天が現れ「日頃の信心からおまえを助けた」と告げられたため、打ち上げられた砂寄州に祠を建てたのがはじまりと伝えられている。かつての弁天島周辺の湖底からは縄文時代の遺物が発見されている。