İlçenin bulunduğu topraklar tarih boyunca Muş Ovası ile aynı siyasi kaderi paylaşmış, 4. ila 9. yüzyıllarda Mamigonyan Ermeni beyliğine, 825-967 yılları arasında Bagratuni Ermeni krallığına tabi olmuş, 967 yılında Bizans egemenliğine girdikten kısa bir süre sonra Diyarbakır merkezli Mervani Kürt emirlerine boyun eğmiştir. Türk istilalarından sonra bir müddet Ahlat'ta hüküm süren Dilmaçoğlu ve Sökmenli beyliklerine boyun eğen Norşin, daha sonra Bitlis'teki Şerefhanoğlu Kürt beylerinin egemenliği altında kalmıştır. Bu süreçte ilçe ve çevresinin Ermeni olan eski nüfusunun peyderpey Kürtleştiği anlaşılmaktadır. 20. yüzyıl başlarında Norşin ve çevre köylerinin halkı yaklaşık üçte bir oranında Ermeni ve üçte iki oranında Kürt idi.

Norşin kasabası 1926 yılında "Çukur" adı verilen nahiyenin merkezi olmuştur. 1960 tarihinde İçişleri Bakanlığı bürokrasisinin uygun gördüğü Güroymak adını kazanan kasaba, 04.07.1987 gün ve 19507 Sayılı Resmi Gazete’de yayımlanan 3392 sayılı kanunla ilçe statüsü kazanmıştır. Kasaba nüfusunun tamamı Kürtçe konuşur.