Александр Орловский родился в 1777 году в Варшаве, в то время столице Речи Посполитой. Он рос в дворянской семье. Меценатка княгиня Изабелла Чарторыйская, заметив в будущем художнике склонность к рисованию, отдала его в ученики польскому живописцу французского происхождения Норблену де ла Гурдену. В 1794 году Орловский поступил на службу в польское войско, участвовал в нескольких битвах и, будучи ранен в одной из них, вернулся в Варшаву.

В 1802 году он приехал в Санкт-Петербург, где его работы понравились великому князю Константину Павловичу и тот поселил его при дворе. Чтобы ближе познакомиться с русской культурой, Орловский ездил в Москву, Новгород и другие города страны. Кроме того, он путешествовал и за рубежом: был во Франции, Италии и Германии.

В 1809 году за картину «Бивуак казаков» Петербургская академия художеств присудила ему звание академика. Через десять лет Орловского причислили к генеральному штабу для «сочинения рисунков военных костюмов». В свободное время художник писал масляными красками, делал карандашные, акварельные и черченные пером рисунки. Он работал как портретист, пейзажист, баталист, создавал произведения на бытовые сюжеты. Графические произведения Орловского отличаются свободой, энергичностью штриха.

Александр Орловский участвовал в сражениях с Наполеоном и видел в строю представителей разных народов многонациональной России. Образы этих героев он переносил на полотна. На картине «Всадник» из коллекции музея художник изобразил мужчину в полном боевом вооружении, своеобразном национальном костюме, на вздыбленном белом скакуне на фоне грозного, бурлящего пейзажа. Орловский не стремился с точностью воспроизвести типы боевых коней. По его мнению, главной была выразительность позы: «Лошадь всегда останется лошадью, турецкая ли она, арабская ли, все дело в том, как она нарисована».

Историк русского искусства, барон Николай Врангель в одной из своих работ дал такую характеристику Орловскому: