花の三御所といわれた源頼朝の別邸の一つだった｢桃の御所｣の跡地に、寛永５（１６２８）年、江戸幕府、三崎船手奉行の向井兵庫頭政綱が静岡県清見寺の白室玄虎大和尚を招き開山した。本尊は「釈迦如来」。本堂には平安時代の秘仏「薬師如来（市重文）」や日光・月光両菩薩、十二神将などが祀られている。
北原白秋が大正初期に当寺に逗留し、ここで一世を風靡した｢城ヶ島の雨｣を作詞した。境内には白秋自筆の歌碑がある。