Вскоре он бросил службу и стал работать у реставратора Академии художеств Петра Соколова. Одновременно с этим он поступил на учебу в Рисовальную школу Общества поощрения художеств в Петербурге. К окончанию учебы Васильев вошел в среду известных художников, особенно сблизился с Иваном Крамским и Иваном Шишкиным. 

В 1865 году он принял участие в первом конкурсе на лучшую картину жанровой живописи на русскую тему, объявленном Обществом поощрения художников. А в 1867 году Шишкин взял Васильева с собой на Валаам, где они вместе проработали больше пяти месяцев: с июня и до поздней осени. В 1869 году Васильев ездил на этюды в Тамбовскую губернию, летом — в имение графа Петра Строганова, осенью — в Украину (тоже в имение Строганова). В 1870 году Васильев вместе с Ильей Репиным отправился в поездку по Волге: от Твери до Саратова.

В начале 70-х годов написал такие картины, как «Оттепель» (1871), «Мокрый луг» (1872). Авторское повторение «Оттепели» показали на всемирной выставке в Лондоне 1872 года. Во время работы над этой картиной Васильев простудился, у художника обнаружили туберкулез. Общество поощрения художеств выделило ему средства для поездки в Крым (еще до отъезда Васильев был зачислен вольноприходящим учеником Академии художеств и получил звание художника первой степени с условием выдержать экзамен из научного курса).

В Крыму Васильев провел последние два года своей жизни. В Ялту он переехал с матерью и младшим братом. Центральное произведение этого периода — большая картина «В Крымских горах» (1873 года, сейчас хранится в собрании Третьяковской галереи). Художник работал много и напряженно, порой в ущерб лечению. Остановить или хотя бы замедлить развитие болезни не удалось. Представленный в экспозиции пейзаж «Пасмурный день. Болото» написан в последний год жизни Васильева. Занятия живописью еще продолжались весной 1873 года, а 24 сентября того же года художника не стало.