2-я танковая армия сформирована в феврале 1943 года на базе 3-й резервной армии Брянского фронта. Первоначально в неё входили 11-й и 16-й танковые корпуса, 60-я, 112-я и 194-я стрелковые дивизии, 115-я стрелковая, 28-я лыжная, 11-я Гвардейская танковая бригады, другие части. 

2-я Гвардейская танковая армия приказом Народного комиссара обороны СССР №  0376 от 20 ноября 1944 года была преобразована из 2-й танковой армии в составе 1-го Белорусского фронта. 

В Варшавско  — Познанской операции, введённая в прорыв 16 января в полосе 5-й ударной армии, 2-я Гвардейская танковая армия развивала наступление на Иновроцлав и Кюстрин. 28 января 1945 года 2-я Гвардейская танковая армия сходу прорвала Померанский вал. За 15 суток армия с боями прошла более 700 км. Армия также успешно действовала в Восточно-Померанской операции. 

19 марта армия была выведена в резерв, где находилась до 24 апреля. 

Во время Берлинской наступательной операции армия отличилась при прорыве обороны противника на подступах к Берлину и штурме города. Как вспоминал маршал бронетанковых войск С. И. Богданов, вскоре после окончания войны у него состоялся разговор с Верховным Главнокомандующим, в ходе которого Сталин сказал, что до Берлинской операции и боёв за Зееловские высоты он считал лучшей танковой армией в Красной Армии 1-ю Гвардейскую танковую армию, но после Берлинской операции и по итогам всей войны именно 2-я Гвардейская танковая армия вышла на первое место. 

За боевые заслуги в годы Великой Отечественной войны 103 352 воина 2-й Гвардейской танковой армии награждены орденами и медалями, причём 221 из них присвоено звание Героя Советского Союза. 24 раза весь личный состав армии удостаивался благодарности Верховного Главнокомандующего.