38-я армия была сформирована 4 августа 1941 года на основании Директивы Генерального штаба от 22 июля 1941 года в составе Юго-Западного Фронта. Полевое управление армии образовано на базе штаба 8-го механизированного корпуса. В состав армии вошли 47-я горнострелковая дивизия, 169-я, 199-я, 300-я и 304-я стрелковые дивизии, танковые, артиллерийские и другие соединения и части. 

После сформирования армия заняла оборону на Днепре в районе города Черкассы. С 8 августа 1941 года приняла участие в обороне Киева (7 июля — 26 сентября). Под ударами противника была вынуждена отходить на Полтаву, Волчанск, Валуйки и к концу декабря закрепилась на рубеже «Валуйки — Купянск».

Зимой — весной 1942 года армия вела оборонительные бои и предпринимала наступление с ограниченными целями в районах городов Волчанск и Балаклеи.

12 июля 1942 года армия была переподчинена Южному фронту. С 17 июля по 23 июля вела боевые действия в составе Сталинградского фронта.

С 23 июля армия была выведена в резерв фронта, её войска переданы 21-й армии, а личный состав полевого управления направлен на сформирование полевого управления 1-й танковой армии.