1923 yılında Artvin’in Ardanuç ilçesinde doğdu. 1941’de yatılı olarak okuduğu Kars Lisesi’nden ve 1945 yılında ise Ankara Üniversitesi Dil ve Tarih-Coğrafya Fakültesi Tarih Bölümü’nden mezun oldu. Ardından Topkapı Sarayı Müzesi’nde müze asistanı olarak göreve başladı.

1950 yılında, memuriyeti, Ankara’daki Etnoğrafya Müzesi’ne aktarıldı. Burada çok az kişiye nasip olan bir olaya tanıklık yaptı: Mustafa Kemal Atatürk’ün naaşının Ankara Etnoğrafya Müzesi’ne naklinden sonra, tabutunun açılması esnasında müze görevlisi olarak hazır bulundu.

1954 yılında Dil ve Tarih-Coğrafya Fakültesi, Tarih Bölümü’ne asistan olarak atandı. 1955’te yeni kurulan Kütüphanecilik Bölümü’nün sağladığı bir burstan yararlanarak kütüphanecilik eğitimi almak üzere bir yıllığına Amerika’ya gitti. 1956 yılında Türkiye’ye döndü ve Kütüphanecilik Bölümü’ne asistan olarak atandı. O yıllarda yeni yeni örgütlenen Kütüphanecilik Bölümü, Amerikalı öğretim elemanları tarafından yönetiliyordu. Bu atama ile Kütüphanecilik Bölümü ilk Türk hocasına kavuşmuş oldu.

Ersoy, 1958’de doktor, 1960’da doçent, 1968 yılında ise profesör oldu.

Ayrıca Türk Kütüphaneciler Derneği’nin kuruluşunda önemli katkılar sağladı, 1961-1964 yılları arasında Derneğin başkanlığını yaptı. 1972-1974 yılları arasında Ankara Üniversitesi Dil ve Tarih-Coğrafya Fakültesi ve 1979-1982 yılları arasında da Fırat Üniversitesi Edebiyat Fakültesi Dekanlığı yapan Ersoy, Kütüphanecilik Bölümü Başkanı olarak sürdürdüğü görevinden 1990 yılında emekli oldu.

Türkiye’de kütüphaneciliğin bir meslek olarak gelişmesine önemli katkılar sağlayan ve bu alanda ülkemizde verilen ilk profesörlük ünvanına sahip olan Prof. Dr. Osman Ersoy 24 Ekim 2008 Cuma günü vefat etmiştir.