Beyaz Rus ve Polonyalı kökenli Gurko 1828 yılında doğdu. Rusya imparatorluk muhafız okulunda eğitim gördü. 1846 yılında teğmen olarak muhafız bölüğüne girdi. 1857 yılında yüzbaşı, 1861 yılında albay oldu. 1867 yılında general rütbesini kazandı. 1877-1878 Osmanlı-Rus Savaşı sırasında Rus ordusunda Mareşal generaldi.

93 Harbi sırasında Kırım Savaşı’nda da görev yapmıştır. Ancak asıl şöhretini 93 Harbi’nde Osmanlı ordusuna karşı kazandığı başarıdan dolayı yapmıştır. 1877 yılının Temmuz ayında bir birlikle Tuna nehrini geçerek Balkan Dağları üzerindeki Şıpka Geçidi’ne ulaştı. 19 Temmuz 1877 tarihinde Süleyman Hüsnü Paşa’nın komutasındaki Osmanlı ordusunu yenerek Şıpka Geçidi’ni ele geçirdi. Osmanlılar 1877 yazı boyunca 2 defa Şıpka Geçidi’ni geri almak için taaruza geçtiler ama başarılı olamadılar. Şıpka Geçidi Muharebeleri adı verilen bu muharebeler sonbaharda çıkmazda kaldı. Sonunda 9 Ocak 1878 tarihinde taarruza geçen İosip Gurko Osmanlıları kesin bir yenilgiye uğrattı.

17 Ocak ‘ta Osmanlıları bir kez daha Filibe Muharebesinde yenen İosip Gurko’nun önü tamamen açılmıştı. İstanbul’a doğru ilerlemeye başladı. Sofya, Filibe ve Edirne’yi ele geçirdi. Ancak İstanbul’un yakınlarındaki Yeşilköy semtinde ordularını durdurdu. Böylece 93 Harbi’nin Rusya’nın lehine sonuçlanmasında büyük bir rol oynamış oldu. 3 Mart 1878 tarihinde Ayastefanos Antlaşması’nın imzalanması üzerine İosip Gurko’nun harekatı son buldu.

Savaştan sonra Gurko kont ünvanını aldı. 1879-1880 yılları arasında St. Petersburg kentinin valisi oldu. 1883-1894 yılları arasında Rus işgali altındaki Polonya’nın Genel Valisi olarak Polonya’yı Ruslaştırmaya çalıştı. 1901 yılında Tver civarında öldü.