南朝 梁 陶弘景 隐居于 句容句曲山 (即 茅山 ，在 江苏省 西南部)。 梁武帝 时礼聘不出，国家每有大事常前往咨询。时人称之为“山中宰相”。见《南史·隐逸传下·陶弘景》。
唐 徐夤 《岚似屏风》诗：“山中宰相 陶弘景 ，谷口耕夫 郑子真。”
后亦用以称有宰相之才而不用于世之士。《宋史·隐逸传中·邓考甫》：“予自谓山中宰相，虚有其才也；自谓文冒先生，虚有其词也。不得大用於盛世，亦无憾焉，盖有天命尔。”
清 吴翊 《洞庭山馆呈司寇东海公》诗之二：“ 江 左文章分史局，山中宰相起经楼。”
亦省称“ 山相 ”。 唐 郑谷 《蔡处士》诗：“旨趣 陶山相 ，诗篇 沉隐侯。”