衡阳湘江大桥位于衡阳市内衡阳站与衡阳西站之间，中心里程为湘桂线K4+074，全长437.5米，上层为公路，系钢筋混凝土结构，下层为单线铁路，由7孔60米下承式桁梁构成。该桥于民国25年(1936)开始勘测，次年冬季开始施工，后因抗日战争时局紧张而奉命停工。为应急计，先建便桥使用。民国31年(1942)11月奉准复工，所有工程全部招标，由中华营造厂承建。12月初动工，材料由湘桂路供给，防水材料由湘桂路自办。由于武汉、广州沦陷，7孔钢梁仅运到6孔，尚有一孔滞留香港。乃将原计划之第7孔改为30公尺和25公尺两小孔，两桥墩之间加筑钢轨塔架一座，架梁铺轨。民国32年(1943)12月下旬竣工，次年元旦正式通车。

民国33年(1944)为阻止日本侵略军从南北两线进逼衡阳，6月24日，中国军队奉令将该桥炸毁，并破坏两端路基。抗日战争胜利后，该大桥功能更显重要，但因材料、工款缺乏，修而复停、停而复修数次。至1949年10月正桥仍未修复。中华人民共和国成立后，因运输急需，修复正桥则缓不济急，遂在该桥上游修建一座永久性便桥，桥墩基础为钢筋混凝土，上立钢塔，架设军用钢梁，全长396米。1949年11月4日动工，12月28日建成。50年代，开始修复正桥，铁道部批准为双层连续梁桥式。大桥墩台均利用原破坏的墩台加固重建，1955年开工，当年告竣。1956年建成东西两岸的引桥工程。墩台引桥建成后本可继续架设钢梁，因承担架梁工程的大桥工程局忙于武汉长江大桥的施工，至1957年6月才开始架梁，9月27日钢梁合拢。公路桥面和铁路桥面铺轨由广州铁路局工程队施工。12月27日，铺轨完工，29日举行通车典礼，公路、铁路同时通车。