大夫山早年叫大乌岗，后因当地人民纪念西汉初年的朝中重臣陆贾大夫而改此名。陆贾，楚国人。他是历史上能言善辩的谋士，曾帮助汉高祖刘邦平天下、坐江山。我国当时中原一带，各路诸候为得天下，刀兵相见，战火濒纷，百越人赵佗便趁机在南越（今广东、广西一带）番禺自立为南越武王。汉高祖得天下后，不想用兵征伐南越赵佗，于是派谋士陆贾南下说服赵佗归顺汉朝。陆贾凭着他出色的口才，深陈大义，终于收服了赵佗，并代表汉朝廷授印封赵佗为南越王。陆贾因此有功，被封为上大夫。刘邦死后，太后专政，偏听朝中一些自命清高的官员之词，视岭南一带为蛮夷之地，加以岐视。赵佗因此对朝中不满，再次自立为南越武帝。至后汉，孝文帝只好又派陆贾大夫南下，再次说服赵佗归顺汉朝。前后17年里，陆贾大夫从中原两下南越番禺，说服边民，为维护国家统一作出了重大贡献。这段历史典故，在南越大地传为美谈，广州市内陈家祠现在有精美的雕塑重现了这一史实，大夫山上建有大夫阁、大夫书院等。


　　南越人民将大乌山改称大夫山，有两种说法。一说是陆贾大夫死后就葬于此山，但史书并无记载；二说是陆贾大夫南下说服赵佗时必经此地，有一次路过时，人困马渴，情急之下，马用前蹄踏地，竟刨出了一口甘泉，百姓便改称大乌岗为大夫山，将甘泉呼为饮马泉。无论哪种说法，都是广大南越人民对于陆贾大夫的敬重和怀念。