かっては東林山遍照光院とうりんざんへんじょうこういんまたは火打山ひうちざん大岡寺たいこうじと号していた。1676年、高松藩２代松平頼常（徳川光圀の長男）は、寺号を東林山霊芝寺と改称した。1802年、８代頼儀は本堂を再建し、東林山を日内山に改めた。この寺は松平家の菩提寺であり、藩主の２代頼常、９代頼恕ひろの墓所がある。

この山門は、雨滝あまたき城の裏門を移設したもので、普通の寺院棟門ではなく棟通りの前に親柱、後ろに控柱がある「薬医門」である。この方式は堅牢な構造であり城門、武家門などに用いられる。
雨滝城は、この地方の守護代であった安富盛長が築城、居城にしていた。

２基の墓は、本堂の西100mの山腹にあり、径20m程の盛土を石で囲い、質素の中にも周囲に玉垣を廻らした大名の墓らしい威厳を備えている。
頼常は、徳川光圀（水戸黄門）の長男であるが、光圀の兄、松平頼重の養子となって２代藩主となった。53才で死去。 頼恕よりひろは、水戸藩主徳川治紀はるとしの第２子で、高松藩８代頼儀の養子となり９代をついだ。江戸の藩邸で45才で死去。