Родился Будковский 5 или 6 июня 1813 года в Лифляндии — бывшей Шведской Ливонии, ныне разделенной между Эстонией и Латвией. При рождении будущего художника звали Густав Даниель, но позднее уже в России к первому имени присоединилось отчество — Яковлевич. В Императорской Академии художеств он был вольноприходящим учеником и учился под руководством прославленного К.П. Брюллова в 1840-х годах. В 1845 году он получил малую серебряную медаль (и, видимо, единственную) за картину «Финские импровизаторы». Жил Будковский трудно, и в 1846 году, по ходатайству К. Брюллова, ему было назначено пособие «во уважение успехов его в живописи и крайне бедного положения».
Спустя 10 лет в 1855 году Будковский был возведен в академики за картину, изображающую «молодую вдову с дитятей на руках». Окончив Академию, сразу уезжает в Европу, живет в Германии, Франции, Италии, окончив свои дни в городе Альбано региона Лацио 7 августа 1884 года. Жизнь за границей не была прибыльной, и в 1857 году его друг художник И. Келер ходатайствовал перед Советом Академии «о представлении для покупки за 600 рублей картины Будковского «Вдова в мастерской художника», которая была представлена императору, поскольку ее автор, находясь в Париже, «имеет нужду в деньгах». Совет ходатайство удовлетворил. В течение жизни он исполнял жанровые и исторические сцены и портреты, которых сохранилось не так много — сегодня известны названия не более чем 20 произведений Г. Будковского, а также то, что в 1874 году он исполнил росписи в часовне германского посольства и протестанского посольства в Риме.
