由于岳麓山紧邻古城长沙，自古以来是文人墨客必游之地，山下有四大书院之一的岳麓书院，也是中国现今保存最完好的一座古代书院。
历代留下的文化遗迹以晋初麓山寺、隋舍利塔、唐李邕麓山寺碑、宋岳麓书院、禹王碑、明云麓宫、清爱晚亭最为著名。
在迈向山顶的小路上都能看到一些著名的墓葬。
长沙周边没有什么大山，岳麓山的地理位置和战略地位对长沙城来说极为重要。
中国对日抗战中后期的第三次长沙会战，由薛岳等人率领的中华民国国军即是在此山指挥炮兵团向进犯的阿南惟几率领的日本军攻击，使日军被歼灭甚多。
登顶当天，天气不好，留下了远眺长沙雾蒙蒙的遗憾。