1961 yılında Sivas’ın Gürün ilçesinde doğdu. Gürün Cumhuriyet İlkokulu ve Gürün Ortaokulu’nda öğrenim gördükten sonra İstanbul Haydarpaşa Lisesi’ni bitirdi.

İstanbul Teknik Üniversitesi Denizcilik Fakültesi (Denizcilik Yüksek Okulu) Makine Bölümü’nden 1982 yılında; İstanbul Üniversitesi Hukuk Fakültesi’nden 1987 yılında mezun oldu.

İsveç Dünya Denizcilik Üniversitesi’nde “Gemi İşletmeleri Teknik Yönetimi” alanında ve Marmara Üniversitesi Sosyal Bilimler Enstitüsü Özel Hukuk Ana Bilim Dalında iki ayrı Yüksek Lisans yaptı.

Ankara Üniversitesi Sosyal Bilimler Enstitüsü Özel Hukuk alanında Doktorasını tamamladı.

Kamuda ve özel sektörde yaklaşık 20 yıl mühendis ve müşavir avukat olarak hizmet verdikten sonra 31.12.2002 tarihinde Denizcilik Müsteşarı olarak atandı.

Türk Telekom Yönetim Kurulu Başkan Yardımcılığı görevini yürüttü.

Türkiye Cumhuriyeti Anayasasının 114. maddesi uyarınca bağımsız olarak 08.05.2007 tarihinde Ulaştırma Bakanı oldu.

01.11.2007 tarihinde Kültür ve Turizm Bakanlığı Müsteşarlığı görevine atandı.

Dr. İsmet Yılmaz; 12 Haziran 2011 Genel Seçimler’inde Sivas’tan, AK Parti Milletvekili olarak seçilmiştir.

6 Temmuz 2011 günü açıklanan 61. Hükümet kabinesinde Milli Savunma Bakanı olarak görev almıştır.

7 Haziran 2015 tarihinde yapılan Genel Seçimlerde AK Parti’den tekrar Milletvekili olarak seçilmiştir.

TBMM Başkanlık seçimlerinde 1 Temmuz 2015 günü Türkiye Büyük Meclis Başkanı seçilmiştir.

Evli ve üç çocuk babası olan İsmet Yılmaz, iyi derecede İngilizce bilmektedir.