Yusuf Ziya Yılmaz, 28 Ağustos 1951 tarihinde Samsun‘da doğdu. İlk, orta ve lise öğrenimini Samsun’da tamamladıktan sonra, İstanbul Devlet Mimarlık ve Mühendislik Akademisi’ni bitirdi.1975 yılında Karayolları 7. Bölge Müdürlüğü’nde Şantiye Makina Mühendisi olarak göreve başladı.

1978-1980 yılları arasında Diyarbakır’da askerlik görevini tamamladıktan sonra tekrar Karayolları 7. Bölge Müdürlüğü’nde Makina İşletme Mühendisi olarak çalışmaya devam etti. 1983 yılında Ankara Karayolları 4. Bölge Müdürlüğü’ne Makina İkmal Baş Mühendisi olarak atandı. 1987 yılında Karayolları Genel Müdürlüğü İkmal Şube Müdürlüğüne getirildi.

1990 yılında Van Karayolları 11. Bölge Müdürlüğü’ne atanan Yusuf Ziya YILMAZ, 1992 yılında Samsun Karayolları 7. Bölge Müdürlüğü’ne getirildi. 6 yıl Samsun’da Karayolları 7. Bölge Müdürlüğü görevi yaptıktan sonra, 1998’de İstanbul Karayolları 17. Bölge Müdürlüğü’ne atandı.

1999 yılında Samsun’a hizmet için 23 yıllık görevinden ayrılarak, ilk kez 18 Nisan 1999 yerel seçimlerinde Anavatan Partisi‘nden (ANAP) Samsun Büyükşehir Belediye Başkanı seçilen Yılmaz, 28 Mart 2004 yerel seçimlerinde ikinci (AK Parti‘den), 29 Mart 2009 yerel seçimlerinde de üçüncü kez Samsun Büyükşehir Belediyesi Başkanlığına AK Parti’den seçilmiştir.

30 Mart 2014 Yerel Seçimlerinde de Adalet ve Kalkınma Partisi‘nden Samsun Büyükşehir Belediye Başkanı seçildi.

Yusuf Ziya Yılmaz, eski bir tarih öğretmeni olan Semiha Yılmaz’la evli olup, çiftin çocukları yoktur.