Doğu Karadeniz Bölgesinde yer alan ilçenin çevresinde Köse, Şiran ilçeleri ve Gümüşhane, Erzincan illeri bulunmaktadır.

İlçe toprakları dağlık ve engebeli bir arazi yapısına sahiptir. Gümüşhane’nin güney kesiminde yer alan ilçe toprakları akarsu vadileri ile yarılmış birbirine paralel dağ sıralarından oluşmaktadır. Kuzeyini Gümüşhane Dağları, güneyini Çimen, Spikör ve Otlukbeli dağları oluşturmaktadır. İlçenin çevresinde genişleyen Kelkit Vadisi, Kelkit ırmağı ile sulanmakta ve tarım alanını oluşturmaktadır. Ayrıca ilçe topraklarında Tarıma elverişli olarak Özlüce Vadisi ve Koşmaşat Vadisi bulunmaktadır.

Kelkit Çayı, Çimen Dağlarından çıkan ve Yeşilırmak’ı besleyen en büyük koldur. Kelkit’te Sıtma Pınarı, Gorden, Korpahar, Eğri Göze, Gülizarın Pınarı, Kara Pınar, Bekir Çavuşun Pınarı, Yardibi, Korgöze, Keşiş Paharı, Üçgözeler, Bülbülyuvası gibi birçok su kaynağı bulunmaktadır.

Bölgede bitki örtüsü olarak alçak kesimlerde kavak, ardıç ve meşe ağaçları, yüksek kesimlerde sarıçam, titrek kavak gibi ağaç türleri görülmektedir. Düzlük alanlardaki toprak örtüsü kuşburnu, geven, yabani kekik, sığırkuyruğu, dağ reyhanı ve benzeri yabani bitkilerle rastlanmaktadır.

Kelkit Doğu Anadolu Fay hattının uzantısı üzerinde olup, birinci derecede deprem bölgesidir ve bu nedenle 1992 Erzincan depreminde Kelkit de zarar görmüştür.