寛政3年7月11日に高芙容のもとを訪ねた際に寄った場所である。北面の武士遠藤盛遠が源渡の妻であり、恋い慕っていた袈裟御前を誤って殺してしまい、彼女の菩提を弔うため墓を設け、建立したのが起源とされている。要人たちの警護にあたっていた盛遠は同僚の源渡の妻である袈裟御前に惚れた。盛遠は袈裟と会うことがかない、袈裟と会うと盛遠は渡のもとを離れて自分の妻になるよう袈裟に言い寄った。盛遠の口説きに負けた袈裟は「渡の首を斬ってくださるなら」という条件を持ちかけた。約束の夜に渡・袈裟夫婦の寝室に忍び込み渡の首を斬ったと思いきや、盛遠が斬ったのは夫に扮した袈裟の首だった。盛遠は自分の非道を深く恥じ、出家して『文覚』と改め、袈裟の菩提を弔った。文覚は京都・高雄にある神護寺で修業しつつこの地にある袈裟の墓を眺めていたという。その慕情から「恋塚」と名付けられた。堂内には盛遠・袈裟・渡の像が安置されているはか、縁起絵巻も見ることができる。