位于闸北区天目东路、宝山路、虬江路间。1908年建。时称沪宁车站，位介上海、宝山两县交界处的芦苇荡里，东靠淞沪车站，南隔界路(今天目东路)与公共租界相邻，站屋仅简易平房六间。

1909年7月另建西式主站楼，英国设计师设计。坐西朝东。南北宽58.92米，东西长24.69米，占地1495平方米，建筑面积5000平方米。英国式建筑。三层，局部四到五层。共有房76间，底层为车站，楼上为铁路管理局办公室。墙基均打木桩，外墙底层东、南、北三面，以青岛石砌造，底层以上的大理石廊柱与拱形门窗，均用钢柱支架横梁，以红色洋砖与浅色石料红白相间砌筑，呈带有伊斯兰色彩的放射形拱券，被称为“不同于古今已有建筑风格的撒拉逊式”建筑。站场内有月台两座，分别长440米和198米。1916年12月，沪杭甬铁路和沪宁铁路接轨共站，成为包括淞沪铁路在内的三线会合点，改名为沪杭甬、沪宁两路总站。为区别原在南市的车站，称为北火车站，习称上海　北站，简称北站。一·二八战事中，站屋办公楼毁于日军炮火。翌年5月，华盖建筑师事务所设计，中南建筑公司承建，修复残楼底层，改建二层中间部分，增建了候车室、行李房、月台、雨棚等。站屋总数减至45间，面积不足2000平方米。抗战胜利后，曾予扩建，各站台延长至360米，拓宽站台2787平方米，还扩建广场，新建长达140米的三、四等候车室，可容纳2500人同时候车，升格为上海总站。1949年后，不断扩建改造，分成南、北两区。1987年，旅客到发总量3936.4万人次，居全国铁路特等客站的第三位。终因场地狭窄，设施陈旧，无法适应上海高速发展的需求。1987年12月28日，上海铁路客运站在原上海东站处落成。

2003年6月，由上海铁路城市轨道交通设计研究院规划设计，上海第八建筑公司承建，在铁路北站原位按原规模80%比例还原兴建站屋大楼，创办上海铁路博物馆。