象山阁和在贵溪创办象山书院的唯心派代表人物陆九渊相关。陆九渊创办了象山精舍，自号象山翁，居所称象山草堂，被学者称为“象山先生”。 明代建在贵溪的象山书院，作为陆派的教学基地，在传播陆学、交流学术、培养人才方面，起到了继往开来的作用。象山书院的原址就是现在的贵溪一中所在地。