战国属楚地，秦属长沙郡，西汉属长沙国，东汉系长沙郡地，隋置衡州，唐天宝初改为衡阳郡，宋为衡州、衡阳郡，明清为衡州府，1914年废衡州府改置衡阳道，1922年废道存县，1937年属第二行政督察区，1943年置衡阳市。

　　1949年10月8日中国人民解放军进入衡阳，设衡阳专区，专署驻衡阳市。

　　1950年，衡阳市改为省辖市，专区辖8县。

　　1952年，衡阳县析置衡南县，专区辖9县，同年衡阳专区撤销，设立湘南行署。

　　1954年，撤销湘南行署，复置衡阳专区，专署驻衡阳市。辖原湘南行署所属衡阳县、衡南县、衡山县、江华县、永明县（1956年改称江永县）、道县、宁远县、常宁县、祁东县、祁阳县、零陵县、东安县共计12县，专署驻衡阳市。

　　1955年11月25日，撤销江华县，原江华县的大部和蓝山县的小部地区合并设置江华瑶族自治县，原江华县部分地区并入永明县。专区辖11县、1自治县。 1959年，省辖市衡阳市改归衡阳专区，衡南县改归衡阳市管辖。专区辖1市、11县、1自治县。

　　1961年，衡南县改归衡阳专区；零陵县析置冷水滩市；专区辖2市、11县、1自治县。

　　1962年，撤销冷水滩市并入零陵县，零陵县、江永县、道县、宁远县、东安县及江华瑶族自治县划归零陵专区，衡阳专区辖1市、6县。 1963年，由衡山县析置南岳县，专区辖1市、7县。

　　1966年，撤销南岳县并入衡山县，衡山县析置衡东县；专区辖1市、7县。

　　1970年，衡阳专区改称衡阳地区，行政公署驻衡阳市。辖衡阳市及衡南县、衡山县、衡东县、常宁县、祁阳县、祁东县、衡阳县共计1市、7县。

　　1980年2月20日，衡阳市由地辖市升为省辖市（1983年改称地级市），专区辖7县。

　　1983年7月，衡阳地区与衡阳市合并，实行市管县体制。衡阳市辖衡阳、衡南、衡山、衡东、祁东、耒阳、常宁七县和江东、城南、城北、郊区、南岳五个县级区。

　　1986年耒阳撤县建市。

　　1996年常宁撤县建市。

　　2001年城北、城南、江东、郊区四个区分别更名为石鼓、雁峰、珠晖、蒸湘四个市辖区。

　　截至2013年底，衡阳市辖雁峰区、石鼓区、珠晖区、蒸湘区、南岳区5个市辖区，衡阳县、衡南县、衡山县、衡东县、祁东县5个县，代管耒阳市、常宁市2个县级市。

　　衡阳市政府驻蒸湘区解放大道16号。