Знак «Гвардия» учреждён 21 мая 1942 года. Право носить знак имели военнослужащие, которые служили в формированиях, удостоенных почётного звания «Гвардейские». С 11 июня 1943 г., (Указ Президиума Верховного Совета СССР от 11 июня 1943 г.) данный знак помещался также на знамёнах данных подразделений. Затем изображение знака стали изображать на военных машинах. Советская гвардия появилась в период тяжелейших оборонительных сражений лета и осени 1941 г. под Смоленском.
Бойцы таких частей должны были носить нагрудные знаки (на правой стороне груди), а военнослужащие РККФ (ВМФ) — специальные планки с муаровой лентой оранжевого цвета с чёрными продольными полосами.
Автор одобренного проекта знака — художник С.И. Дмитриев. И.В. Сталин индивидуально рассматривал все проекты знака. Он предложил барельеф Ленина на знамени сменить надписью «Гвардия». После Великой Отечественной войны знак «Гвардия» вручался только военнослужащим гвардейских частей, соединений и объединений.
В период Великой Отечественной войны знак «Гвардия» вручался в торжественной обстановке, на общем построении, с выносом боевого знамени.
Для личного состава Военно-Морского Флота гвардейский нагрудный знак был учрежден 10 июня 1942 года.
На 9 мая 1945 года звания гвардейских удостоены:
