Почти столетие на железных дорогах единственным типом локомотива был стефенсоновский паровоз. В конце XIX века появились двигатели внутреннего сгорания. Сначала они были газовыми. Вагон-газоход, курсировавший на Дрезденской городской железной дороге в 1892 г., можно считать первым тепловозом. Мощность его двигателя составляла 7,35 кВт (10 л. с.). Делались попытки использования бензиновых двигателей на небольших узкоколейных маневровых тепловозах для внутризаводского транспорта.
В 1892 г. Рудольф Дизель взял патент, а в 1897 г. представил вариант двигателя внутреннего сгорания, который был назван его именем. Первый дизель имел мощность 14,7 кВт (20 л. с.), его коэффициент полезного действия превышал коэффициент полезного действия паровых машин и не зависел от размеров двигателя. Очень экономичный, компактный, удобный и простой по устройству дизель быстро получил широкое распространение, в том числе и на транспорте. Правда, железные дороги начали использовать дизель позже других видов транспорта. В 1912 г. на линии Винтертур - Ромаспорн в Швейцарии были проведены испытания первого тепловоза мощностью 705 кВт (960 л. с.), созданного Дизелем и Клозэ. В 1913 г. в Германии на линии Берлин - Мансфельд попытались использовать этот локомотив для движения пассажирского поезда. Но оказалось, что он не пригоден для поездной работы, так как развивал большую мощность лишь при больших скоростях, а при трогании с места и на подъемах мощности не хватало. Выяснилось, что двигатель внутреннего сгорания без специальной передачи между ним и движущими колесами не может обеспечить необходимые тяговые качества локомотива, диктуемые разнообразными факторами работы железной дороги - профилем пути, скоростью движения, массой поезда, погодными условиями и др. Предлагались, проектировались и создавались тепловозы с механической, электрической, гидравлической, газовой и другими типами передач. В годы первой мировой войны фирмой "Крош" (Франция) были построены узкоколейные тепловозы мощностью 88 кВт (120 л. с.) с электрической передачей, а заводом Балдвина (США) - с механической передачей автомобильного типа. Шведский узкоколейный тепловоз мощностью (88 кВт) с электрической передачей был построен в 1922 г.
В 1924 г. в Ленинграде был создан магистральный тепловоз ГЭ1 (Щэл1) системы Я. М. Гаккеля мощностью 735 кВт (1000 л. с.) с электрической передачей. В ноябре 1924 г. тепловоз вышел на железнодорожную магистраль и в январе 1925 г. прибыл в Москву. Одновременно в Москве появился тепловоз с электрической передачей Ээл2 мощностью 880 кВт (1200 л. с.), построенный в Германии по проекту русских инженеров, так же как и тепловоз с механической передачей Эмх3, поступивший в эксплуатацию на сеть советских железных дорог в 1927 г.
В 1930 г. в Дании на тепловозную тягу была переведена четвертая часть всей сети. На железных дорогах США в 1936 г. было 185 тепловозов средней мощностью 400 кВт (540 л. с.). Первоначально здесь строились маневровые тепловозы мощностью 220 кВт (300 л. с.). В 1940 г. появились первые многосекционные грузовые и универсальные (для грузовой и пассажирской службы) локомотивы. Мощность секции с одним дизелем составляла 990 кВт (1350 л. с.), а с двумя - 1470 кВт.
До второй мировой войны на заводах СССР, кроме тепловоза Щэл1, были построены единичные экземпляры тепловозов Oэл6, Оэл7, Оэл10, ВМ, Оэл9 и несколько десятков тепловозов серии Ээл. Тепловозная тяга впервые была введена на бывшей Ашхабадской железной дороге на протяжении более 700 км.
Широкое внедрение тепловозной тяги началось после окончания второй мировой войны. В СССР один за другим с небольшим интервалом появляются тепловозы ТЭ1 мощностью 735 кВт (1000 л. с.) и двухсекционный тепловоз ТЭ2 мощностью 1470 кВт (2000 л. с.). В 1953 г. был построен первый тепловоз ТЭЗ мощностью в двух секциях 2940 кВт (4000 л. с.), а с 1956 г. начато его серийное производство. К этому периоду относится начало бурного развития отечественного тепловозостроения. Локомотивостроительные заводы Харькова, Луганска, Коломны, Ленинграда, Брянска, Людинова, Мурома за 4-5 лет разработали десятки типов различных тепловозов и построили 15 образцов опытных локомотивов. Среди них магистральные и маневровые тепловозы с электрической передачей ТЭ10, ТЭ50, ТЭ10Л, ТЭП60, ТЭ40, ТЭМ1 и с гидравлической передачей ТГМ2, ТГМЗ, ТГ100, ТГ102, ТГ105, ТГ106, ТГП60. Одновременно росла протяженность линий, обслуживаемых тепловозами. В 1950 г. она составляла примерно 3 тыс. км, в 1960 г. - 18 тыс., в 1970 г. - 76 тыс. км. Наибольшая протяженность тепловозного полигона достигла в 1979 г. примерно 100 тыс. км. В последующие годы наиболее напряженные тепловозные направления переводились на электровозную тягу и протяженность тепловозного полигона начала несколько сокращаться.
В СССР в грузовом и пассажирском движении наибольшее распространение получили тепловозы с электрической передачей. Грузовой тепловоз ТЭЗ имеет электрическую передачу постоянного тока, двухтактный дизель 2Д100 мощностью 1470 кВТ (2000 л. с.). Тепловозы 2ТЭ10Л, серийное производство которых было начато в 1965 г., также имеют электрическую передачу постоянного тока. Двухтактный дизель 10Д100 с газотурбинным наддувом и промежуточным охлаждением наддувочного воздуха имеет мощность 2200 кВт (3000 л. с.). В последующие годы выпускались модификации тепловозов типа ТЭ10 с индексами Л, В, М, С. Первые тепловозы 2ТЭ116 с электрической передачей переменно-постоянного тока и четырехтактным дизелем Д49 мощностью 2250 кВт (3060 л. с.) в секции были выпущены в 1971 г. С 1988 г. началось их серийное изготовление. Первые тепловозы 2ТЭ121 с электрической передачей переменно-постоянного тока с дизелем типа Д49 мощностью 2940 кВт (4000 л. с.) были построены в 1979 г.
Подвергались существенной переработке конструкции водяной и масляной систем охлаждения тепловозных дизелей, системы охлаждения электрических машин, вспомогательное оборудование и другие агрегаты и узлы тепловозов. Дальнейший процесс тепловозостроения предусматривает создание тепловозов секционной мощностью 4415 кВт (6000 л. с.).
В настоящее время тепловозы практически полностью заменили паровозы на маневрах и выполняют примерно 40% грузооборота сети.
Непрерывно растущие требования повышения массы поездов и скоростей их движения определяют потребность создания все более мощных локомотивов. Уже сейчас необходимы автономные локомотивы секционной мощностью 6000 - 7350 кВт (8000 - 10000 л. с.). Не менее важной задачей является перевод автономных локомотивов на альтернативные виды топлива, например газ. Эти проблемы успешно решаются при применении в локомотивостроении газотурбинных двигателей. Созданы и эксплуатируются газотурбовозы - автономные локомотивы, у которых газовая турбина - основной силовой двигатель.