Tarihi milattan önceki yıllara dayanır. Bölgede bilinen en eski kavimler Hurriler, Hititler ve Urartulardır. Özellikle Tuşba  şehri olan Uratula'nde Urartu Kralı Menaus'a ait taş kitabe vardır. Bu kitabeden Palu'ya Sebitaruas, Harput çevresinine de Surani adı verildiği öğrenilmektedir.

Sophene Krallığının başkentliği yapmıştır. Sophene Krallığından MÖ. 300 yıllarda yazılmış olan ve halen İranın kuzeyinde bulunan Darius kitabelerinde bahsedilmektedir. Darius, Elazığ ve Tunceli bölgesinde ikamet eden halka Zazana olarak hitap etmiştir. Sophene krallığından kalma en önemli eser Palunun örencik köyü yakınlarındaki Şemşat kalesidir.

Urartular'dan sonra bölgeye hakim olan Soa ait Arsanosta şehrinin kalıntıları ilçenin Örencik köyü yakınlarında bulunmuştur. Palu daha sonra sirasiyla Roma, Bizans, Arap ve tekrar Bizans egemenlikleri altında kalmıştır.

1071 Malazgirt Savaşı ile bölge Selçuklu hakimiyetine gecmiştir. Selçuklu devletinin yıkılmasından sonra Anadolu Snde gördüğümüz Palu, daha sonra Osmanlı hakimiyeti altına girmiş ve bu dönemde Kuzey-güney hattı üzerinde önemli bir ticaret merkezi haline gelmiştir. Yavuz Sultan Selim, Doğu  seferi dönüşünde Palu bölgesini komutanlarından Karacimşit Bey emrine tımar olarak vermiştir.