Ordu ilinde ilk Kütüphane 1926 yılında maarif Müdürü Vehbi (Bey)’ in gayretleri ile Valilik arasındaki işbirliği içerisinde Gazi Mustafa Kemal Paşa Kütüphanesi adı altında kurulmuştur. Açılış töreni ertesi yıl 30.08.1927 yılında yapılmıştır.

Kütüphane,  önce Türk Ocağı olan, sonraları muallimler Birliğini de içine alan Halkevi Sinema salonu yerindeki binada alt katın bir bölümünde hizmet vermiştir.

Binanın yıkılması üzerine sırasıyla: Orman Bölge şefliği olarak kiralanan eski Karadeniz Oteline, sonra o günün acente dairesine taşınmıştır. Oradan mülkiyeti Milli eğitim Bakanlığına ait Halk Eğitim Merkezi ve Akşam Sanat Okulu  Müdürlüğü binasının bitişiğinde bulunan binaya taşınmıştır. Bu binada uzun yıllar hizmet veren kütüphane binanın yıkılması nedeniyle 1996 yılı Haziran ayında mülkiyeti Sağlık Bakanlığına ait olan Ordu Sağlık Müdürlüğü binasının son katına (eski Devlet Hastanesi binası)  taşınmıştır. Bu binanın son katının da Atatürk Sağlık Meslek Lisesi olması nedeniyle kütüphane 05.04.1999 tarihinde Köy Hizmetleri İl Müdürlüğünün eski hizmet binasına  taşınmıştır. Burada 11 yıl hizmet verdikten sonra, 17.12.2011 tarihinde Kültür ve Turizm Bakanlığına ait Ordu Kültür Sanat Merkezine taşınmış  ve halen Merkezin B Blok bölümünde hizmete devam etmektedir.