黃山位於安徽省南部，處在歙縣、黟縣、太平縣、休寧縣之間，屬於傳統意義上的徽州地區，黃山山脈東起績溪縣的大嶂山，西接黟縣的羊棧嶺，北起太平湖，南臨徽州山區。東鄰浙江，南連江西，北與宣城、池州兩市接壤。是長江與錢塘江兩大水系的分水嶺。
