Знак «Гвардия» был создан для воинов из подразделений, получивших почетные звания «Гвардейских». Использовался с 21 мая 1942 года, через некоторое время его стали изображать и на знаменах этих соединений.

Гвардия Красной Армии появилась во время ожесточенных оборонительных битв 1941 года под Смоленском. Приказом № 308 Ставки Главнокомандования от 18 сентября были отмечены мужество и организованность нескольких стрелковых дивизий. За то, что в тяжелейших условиях подразделения не раз наносили огромный урон немецким войскам, их переименовали в 1, 2, 3 и 4-ю гвардейские дивизии.

Эти формирования получили знамена с изображением Владимира Ильича Ленина. Гвардейцам полагались материальные привилегии: командный состав получал надбавку в 50% от оклада, а рядовые — двойной оклад. Было предложение ввести для гвардейцев особую форму с погонами, но в военное время это было затруднительно.

Иосиф Виссарионович Сталин лично изучал все проекты знака. По его инициативе барельеф Ленина был сменен на надпись «Гвардия». Знаки, производимые на разных заводах, очень отличались. Так, на Щербинском ШМЗ НКПС сначала делали полотнище гладким. Позже на него стали наносить насечку, чтобы создать иллюзию искрящегося знамени. На других заводах эту насечку делали в виде точек, пунктира, чешуей и т. д. Отличались также форма знака и оттенок эмали.

В военные годы знак «Гвардия» вручали торжественно, на построении с выносом боевого знамени. Новобранцы получали его после первого боя, а моряки и летчики — после нескольких боевых операций. Это правило действовало для офицеров и солдат.

Гвардейцы ВМФ изначально получали ленты на бескозырки. Но этот головной убор носили только краснофлотцы. Получилось, что отличительная принадлежность к гвардии — ленточка на бескозырке — доставалась только матросам, которые составляли не более 50% экипажа. Остальные моряки никаких отличительных знаков не получали. Тогда появилась идея обрамить георгиевскую ленту и носить ее на груди.

Для Военно-Морского Флота нагрудный знак утвердили 10 июня 1942 г. Он был сделан в виде прямоугольной пластины, затянутой оранжевым муаром с черными полосами. Металлический кант у офицеров был золотистым, а у старшин и матросов — серебристым.

В июне 1943 г. правительство утвердило образцы знамен для армий и корпусов гвардии, а в феврале 1944 г. — для ВМФ. У армии знак обрамляли дубовые ветки, а на знамени гвардейского корпуса их не было. На всех образцах была лозунг «Смерть немецким захватчикам» и название воинского формирования.

После войны гвардейский нагрудный знак стал единым. Его вручали военнослужащим в качестве поощрения по итогам полугодия. На послевоенном знаке на знамени присутствует бахрома и специфичные разводы под ним. «Гвардия» носится на правой стороне груди. При наличии орденов и медалей знак крепится под ними.