Первоначально музей состоял из шести кабинетов: модельного и механического, строительно-рабочих инструментов, образцов строительных материалов, физического, геодезического, минералогического. В них проводились практические учебные занятия для воспитанников института. Коллекция пополнялась моделями, макетами, чертежами, выполненными при строительстве дорог, мостов, каналов и т.п., кроме того, студенты и мастера изготовляли модели в учебных мастерских. В 1862 г. музей, оставаясь в стенах институт и являясь учебной базой, открыл свои двери для широкой публики. 22 июня 1896 г. Император Николай II одобрил предложение Министра путей сообщения М.И.Хилкова создать в Петербурге Музей Ведомства Путей Сообщения с присвоением ему имени Императора Николая I.

В 1902 г. по проекту архитектора П.С.Купинского построено здание специально для Музея ведомства Путей Сообщения имени Императора Николая I. Строительство здания и размещение в нем музейных коллекций задумывалось как один из «памятников основателю железных дорог России императору Николаю I». На Садовая ул. д.50, уже более 100 лет бережно хранятся раритеты стальных магистралей России. В 1987 г. в год 150-летия отечественных железных дорог, музею был возвращен статус главного железнодорожного музея страны – он был выделен из состава ЛИИЖТа и преобразован в Центральный музей железнодорожного транспорта СССР, с 2004 г. – в ведении Федерального Агентства железнодорожного транспорта. Учитывая уникальность коллекций и экспонатов музея, в 2005 году Распоряжением Правительства Российской Федерации за музеем закреплен статус федерального государственного музея

Сегодня Федеральное государственное учреждение культуры «Центральный музей железнодорожного транспорта Российской Федерации» хранит более 60000 разнообразных экспонатов, отражающих развитие отечественной железнодорожной науки и техники. Многие из экспонатов, выполненные более 100-150 лет назад, уникальны. Коллекции моделей подвижного состава, работавшего на железных дорогах России, СССР, моделей мостов, устройств СЦБ не имеют себе равных в стране по научной значимости; более 1000 альбомов содержат акварельный, графический и фотоматериал о строительстве железных дорог: Царскосельской, Николаевской, Московской, Транссибирской, Среднеазиатской и многих других. За последние 30 лет музей собрал более 50 единиц натурных локомотивов и вагонов, некоторые из них, наиболее ценные, переданы на временное экспонирование музеям натурной техники Московской и Октябрьской железных дорог. Среди них: уникальный паровоз «Ь» постройки 1897 года (самый старый сохранившийся в стране паровоз), паровозы серии ОД, ОВ, Э, ЕЛ, СУ; электровоз СС, электросекция СМ-3 и др.