书院建筑，曾经历尽沧桑，屡毁于兵火而多次兴修。书院现存建筑，大部分为清代遗构建筑群。1981—1987年按原貌分期进行修复。大门两边有“惟楚有才，于斯为盛”的对联，二门闾上有“纳于大麓，藏之名山”的对联。现存遗迹有：讲堂、文昌阁、六君子堂、崇道祠、濂溪祠、四箴方亭、湘水校经堂、十彝器堂、半字斋、教学新、文庙、赫曦台等。

岳麓书院自宋代开始，就是名儒讲学授业之地，造就了一代又一代的人材。在南宋时，著名理学大师张轼主持书院时，朱熹曾两次来此讲学，当时学生达千人，从而使岳麓书院有“潇湘洙泗”之誉，将其与孔子在家乡讲学的地方并称。此外，陆九洲、陈傅良、欧阳守道，明代大乔龄、张元忭，清代王文清、罗典、欧阳厚均、王先谦等都曾来此讲学或主持书院，不少雷要历史人物如王船山、魏源、左宗棠、曾国藩、郭嵩焘、杨昌济等都曾就读于书院。书院改为学堂以后，更有大批爱国志士如唐才常、黄兴、陈天华等人，以及先烈邓中夏、蔡和森等都求学于此。1916年暑假期间，毛泽东曾寄居于此，以后又数次寓居，主编《湘江评论》、《新湖南》进行革命宣传。