生家跡は現在畑になっていて北側に井戸跡を残すのみとなっている。この土地は彦九郎の祖父である貞正が異母弟の蓮沼伊右衛門政重に家督を譲り、母方の高山姓を名乗って分家したのが始まりとされている。南側に彦九郎の兄専蔵の住居、北側に彦九郎の住居があった。遺髪塚は、隣設されている高山彦九郎記念館西側の墓地内にある。