Kovancılar Elazığ ilinin bir ilçesi olup, daha önceleri Palu İlçesine bağlı ve 8 Km. kuzeyindeki Kapıaçmaz Mevkiinde Küçük bir köy olarak bilinmektedir. Yörenin tarihi çok eski olup, Millat önceki yıllara dayanmaktadır. 1934 yılında Romanya ile Türkiye arasında yapılan mübadele anlaşması çerçevesinde orada bulunan Türk Ahaliden 300 hanelik bir kafile yerleştirilmek üzere Elazığ İline nakledilmiştir. Mevsimin kış olması nedeniyle önce Palu İlçesinin civar köylerinde geçici iskana tabi tutulan Göçmenler daha sonra şimdiki İlçe Merkezine yerleştirilmiştir. 1935 yılının İlkbahar ayında 300 hanelik köyün temeli atılmıştır. O zamanın şartlarına göre duvarları kerpiçten ve çatıları kargirden yapılan evlerin inşaatları kısa zamanda tamamlanarak hak sahiplerine teslim edilmiştir. Sözkonusu bu yeni yerleşim yerine Göçmenlerin Romanya’da ikamet ettikleri köy olan Kovancılar’ın adı verilmiştir. 1935 yılında tamamen boş bir arazi üzerine kurulmuş bulunan Kovancılar’ın imar planı o zamanın imkânları ile en iyi şekilde hazırlanmış olup, Elazığ İlinin örnek bir yerleşim alanı olmuştur.

1968 yılında Belediye Teşkilatı kurulmuş olup, daha sonra 19.06.1987 tarih ve 3392 Sayılı Kanun ile yerleşim yerimiz ilçe statüsüne kavuşmuştur.