1946 yılında Aydın’da doğdu. Ankara Üniversitesi Siyasal Bilgiler Fakültesi’nden mezun olan Koç, Ulubey, Nusaybin ve Bayındır’da kaymakamlık, Siirt ve Giresun’da valilik, Konya’da Emniyet Müdürlüğü yaptı.

Bir dönem Ankara Büyükşehir Belediye Başkanı Melih Gökçek‘in Genel Sekreterliğini de üstlenen Koç, İçişleri Bakanlığı Müşavirliği ve Başbakanlık Müsteşarlığı görevinde bulundu.

3 Kasım seçimlerinde AKP’den milletvekili seçilen Koç, 21 Şubat 2005 tarihinde Kültür ve Turizm Bakanlığı’na atandı.

Mart 2013 tarihinde Turkcell Yönetim Kurulu üyeliğine atandı. Sermaye Piyasası Kurulu (SPK), Turkcell’in Yönetim Kurulu üyelerinden, Mehmet Bülent Ergin, Tero Erkki Kivisaari ve Oleg Adolfoviç Malis’i Yönetim Kurulu Üyeliği görevinden alarak, yerlerine Ahmet Akça, Atilla Koç ve Mehmet Hilmi Güler‘i atadı.

İngilizce bilen Koç, evli ve 3 çocuk babası.