Нагрудный знак «Гвардия» был учреждён 21 мая 1942 года Указом Президиума Верховного Совета СССР «О введении для военнослужащих гвардейских частей и соединений Красной Армии и Военно-Морского Флота гвардейских военных званий». Автор рисунка знака — художник С.И. Дмитриев.
Знак «Гвардия» выдавался военнослужащим воинских частей, соединений и объединений Вооружённых Сил СССР, преобразованных в гвардейские, также его изображение размещалось на знамёнах этих подразделений. 

В годы Великой Отечественной войны и первые послевоенные годы знак носился даже тогда, когда военнослужащий проходил службу в подразделениях, не относящихся к гвардейским, пишет Б.В. Айрапетян. «Более того, нередки были случаи, например, во время войны, когда часть становилась гвардейской, а кто-то убывал к новому месту службы или по ранению. Тогда знак „Гвардия“ вместе с сопроводительным документом пересылался гвардейцу по месту новой службы или в госпиталь», — отмечает исследователь.