Павел Ковалевский родился 4 августа 1843 года в городе Казани в семье профессора Казанского университета Осипа Ковалевского.

В 1873 году на стипендию от российского государства Павел Осипович Ковалевский отправился в трёхлетнее путешествие по загранице — Германии, Австрии, Италии, работал в основном в Риме. С 1876 года — академик, лауреат золотых медалей на международных художественных выставках.
В ходе русско-турецкой войны 1877–1878 годов сопровождал русскую армию и собрал богатый запас материалов для последующих батальных произведений. В 1881 году возведён в звание профессора.
С 1897 года Павел Осипович Ковалевский занимал пост руководителя батальной мастерской Академии художеств. Жанрист, анималист. Через всю свою жизнь художник пронес любовь к лошадям. Его привлекали дорожные сцены, центром которых неизменно становились дорогие сердцу русского человека тройки лошадей.

Павел Осипович Ковалевский умер 7 марта 1903 года.