栖原海岸から急な坂道を上った途中にあり、山門の前からは、湯浅湾に浮かぶ刈藻島や鷹島が見え、約100本のソメイヨシノが咲き乱れます。

寛喜3年4月17日、明恵上人の従兄弟・湯浅一族の藤原景基により、上人修行の地である白上山に施入（寺や神社に財物を献上すること）して、禁殺生を誓い、精舎を建立して上人を開山と仰ぎ、無畏（おそれなし）を施る寺として「施無畏寺」と称しました。

栖原海岸から急な坂道は少し道は細いですが、車で登ることができ、駐車場スペースは5台ほどあります。海岸付近から徒歩で登ることもできますが、少し急な坂道です（300m弱）。本堂の観音堂はさらに上にあります。