В 1806 году был объявлен Манифест о народном ополчении, который провозгласил вербовку кочевников, из них набирали иррегулярные военные отряды на время боевых действий. Орловский оказался одним из первых художников, кто стал изображать башкир, калмыков и представителей других народностей Урала и Поволжья. Обращаясь к этим образам, он, как настоящий романтик, отдавал дань ориентализму — увлечению восточными темами. Экзотика костюмов и вооружения азиатских воинов, яркие краски, необычные лица — все это неизменно привлекало художника. Изображения восточных всадников при всей романтической заостренности отличаются большой достоверностью. 

Расцвет «восточной» темы в творчестве Орловского приходится на время Отечественной войны и заграничных походов 1812–1814 годов. Национальные военные части сыграли большую роль в победоносном исходе войны. «Не токмо стародавние сыны России, — писал участник событий 1812 года С. Н. Глинка, — но и… народы кочующие — и те, наравне с природными россиянами, готовы были умереть за землю русскую». 

Картина «Киргиз на лошади», возможно, была написана в этот период. Киргизами в то время называли казахов, чьи конные отряды входили в состав русской армии, но их внешний вид и вооружение были отличными от того, что мы видим на картине Орловского. Учитывая стремление художника всегда точно следовать этнографическим деталям, можно с большой долей вероятности считать, что Орловский изобразил монгольского воина. Об этом свидетельствует сходство героя картины «Киргиз на лошади» с персонажами его произведений «Монголы» (1808, Краснодарский краевой художественный музей), «Монгол» (1808, Национальный музей, Варшава).