黃山歷史悠久，遠在六、七千年前，即公元前51世紀，母系氏族社會的后期，人類就已經在這片美麗富饒的山區勞動生息了。在距今三、四千年的殷商時期，這里就居住著一支叫山越的先民。山越乃百越中的一支。在春秋戰國時期，這里先屬吳，吳亡屬越，越亡屬楚。秦始皇統一六國之后，實行郡縣制，這里為會稽郡屬地。南朝時開始設置新安郡，郡府搬遷又始終未離開新安江上游，徽州古稱新安，其源蓋出于此。宋代徽宗宣和三年五月廿四日(公元1121年)，歙州被詔改為徽州。關于徽州名稱的起源，一說因其境內有徽嶺、徽水、大徽村等，州則因地得名；另一說趙宋王朝是取“徽者、美善也”之意，炫耀他對這一地區的失而復得。此二說并存了八百多年，州名亦被歷代沿用至今，清康熙六年(公元1667年)建省的時候，就是摘取安慶、徽州二府首字作為省名的。

徽派文化底蘊豐富，內涵深廣，是中國三大區域文化(藏學、敦煌學、徽學)之一，涵蓋了哲、經、史、醫、科、藝諸多領域。

黃山市位于皖浙贛三省結合部，群山環抱之中，古代徽州歷來有“山深不偏遠，地少士商多”之說。每當中原戰亂之秋，這里就成了藏龍臥虎之地，它既是亂世的世外桃源，又是治世的人才寶庫。古徽州文風昌盛，教育發達，“十家之村，不廢誦讀”，因此歷史上以才入仕、以文垂世者，代不乏人，燦若繁星。《辭海》的單列條目中，徽州名人有50多人，列全國各州府之首。據不完全統計，明清兩代中進士542人，舉人多達1513人，“連科三殿撰，十里四翰林”、“父子宰相”、“四世一品”者并不鮮見。明清時代徽商稱雄商界長達二、三百年，有“無徽不成鎮”之說。徽商賈而好儒，“官、賈、儒”三位一體，形成了獨具特色的徽州文化，歷史上各種人才應運而生，學術研究異彩紛呈。例如，活字印刷術創始人畢升，宋代理學集大成者朱熹，明清三朝元老、軍機大臣許國(歷仕明嘉靖、隆慶、萬歷)、曹振鏞(歷仕清乾隆、嘉慶、道光)，富可敵國的大鹽商鮑漱芳，著名戲劇家汪道昆，醫學家汪機、汪昂，徽墨、歙硯高手李廷、李少微，新安畫派的創立者和近代著名代表漸江、黃賓虹，哲學家戴震，理財家王茂蔭(馬克思《資本論》中提到的唯一中國人)，珠算大師程大位，近代教育家、學者有陶行知、胡適，音樂家張曙，還有工程技術專家詹天佑、鄭復光，孫中山元帥府秘書長、近代法學家徐謙等，都是徽州人。同時，由徽商興盛而形成了新安理學、新安醫學、新安畫派、徽派盆景、徽墨歙硯、徽派建筑、徽雕、徽刻、徽劇、徽菜等獨具地方特色的文化流派。現已發現地面文物4900多處，其中列入國家和省級重點保護的45處。直至今日，黃山大地上仍遍布古橋、古塔、古亭閣、古宗祠、古牌坊，猶如一座天然的歷史大博物館。