胜归山石质精良坚细，自宋元时起，百姓就开宕取石，破坏了山体风貌，历代官府屡禁而不能止。

明嘉靖二十七年(1548)，胡宗宪任余姚知县，即捐俸银赎买胜归山归官，开凿山石之风得以禁止。

十年之后，胡宗宪调任浙江总督。当时倭患频仍，胡宗宪为抗击倭寇，转战东南沿海，其间多次往返于余姚，屯兵于胜归山中。后人为纪念胡宗宪任职余姚的业绩和抗击倭寇的战功，特于嘉靖四十年在胜归山南坡雕凿胡宗宪官服像，称之为“胡公岩”。

自此岩雕大兴，历时三百九十余年。形成浙江省少见的摩崖岩雕群。胡公岩周围均是佛像，有袒胸露肚、捧腹大笑的弥陀佛，有手执破芭蕉扇疯态可掬的济公像。胡公岩上方是观音大士象，曲脚盘坐莲花宝座上，座下是浪涛翻滚的南海，有巨鳌游弋。东侧有赤脚踏宝莲台的释迦牟尼立像，以及横眉竖眼的多尊罗汉立像，各高5米左右。这些造像形态生动，神姿各异，造形巧妙，可见工艺之精湛。

胜归山旧有刘将军庙，祀东晋将军刘牢之。到明嘉靖年间，在庙前增建复初书院。至明万历前期，有僧人将庙改建为灵岩禅院，俗称胜归山庙。近年重修更名为灵岩禅寺。

胜归山在姚城北部，原称圣龟山，东晋隆安二年(398)，将军刘牢之剿灭孙恩起义部队后，归屯此山。以同音故，改称胜归山。