早在5000多年前的新石器時代，縣境內就有人類活動。
夏、商屬揚州地域，西周時屬舒國，春秋時前屬吳,後屬越,秦時屬九江郡，西漢時屬淮南國，東漢、三國、西晉時均屬廬江郡。東晉隆安至元興年間置大雷戍。義熙元年始設新冶縣，屬豫州晉熙郡。
南朝陳天嘉年間升新冶縣為大雷郡，屬江州。唐武德四年改望江縣為高州，屬舒州同安郡。武德七年改高州為智州，屬淮南道同安郡。至德二年廢智州復望江縣，屬淮南道盛唐郡嚴州。
北宋至道初望江屬淮南路舒州。政和五年屬淮西路德慶軍。南宋紹興十七年望江屬淮西路安慶軍。慶元元年屬淮西路安慶府。元至元十四年改府為路，望江屬蘄黃宣慰司安慶路，至元二十三年廢司置省，望江屬河南江北行省安慶路。明洪武初望江屬南京寧江府，洪武六年屬南京安慶府。民國元年裁府，望江直屬安徽省。
1959年2月26日，中共安徽省委決定，將望江、懷寧縣合併，組建懷望縣。
