İlçenin kuruluşu hakkında kesin bir bilgiye ulaşılamamış olunmasına rağmen bölge tarihi boyunca Hitit, Asur, Makedonya, Roma ve Bizans medeniyetlerinin yönetiminde kalmıştır. Karamanoğlu Beyliği'nin önde gelen Türkmen ailelerinden Kösebirlerin bir kısmı, Pontus'la mücadele amacıyla XIII. yüzyılda ve II. Bayezıt'ın padişahlığı veya oğlu Yavuz Sultan Selim hükümdarlığı döneminde buraya gönderilmiştir ve yörenin adı bu aileden gelmektedir. Ailenin diğer bir kısmı da Merc-i Dabık zaferiyle ele geçen Adıyaman Besni ve yöresine Yavuz Sultan Selim tarafından gönderilmiştir. Ailenin Trabzon - Gümüşhane, Gaziantep - Malatya - Adıyaman ve Konya - İç Anadolu kollarının bağları hala kopmamıştır. Kösebir ailesinin oymağı ile birlikte Yurtlar ve Ekinyüzü Mevkilerine yerleştiği ve sonra Örenlere ve sonrasında şimdiki yere yerleştiği bilinmektedir.

Köse Köyü,1516 yılı Bayburt tahrir kayıtlarında Bayburt Sancağının Kelkit Nahiyesine bağlı bir köy yerleşkesi olarak geçmektedir. 1916 yılında Rus ve Ermenilerin istilasına uğramış ancak 17 Şubat 1918 günü işgalden kurtulmuştur.

Cumhuriyet döneminde Gümüşhane'nin il yapılmasının ardından Kelkit Kazasına bağlı bir bucak merkezi haline getirilmiştir. Köse 1954 yılında belediye 3392 sayılı kanunla da 19.06.1987 tarihinde ilçe olmuştur.

Salyazı beldesi ve köylerin kuruluşları konusunda da kesin bilgilerin bulunmamasına rağmen Türk kültürünün dışında daha önce yaşamış olan milletlere ait iz ve eserlere rastlamak mümkündür.