Morhamam ve Karahüyük köylerindeki höyüklerden ve Karababa harabelerinden elde edilen bulgulara göre ilçe merkezindeki yerleşimin tarihi eski çağlara dayanmaktadır.
4. yüzyıldan itibaren Bizans kaynaklarında Argaous adıyla görülmektedir. 8. yüzyıla ait Arapça kaynaklarda Argaûn adı kaydedilmiştir. Sözcüğün her iki biçimi çoğul halde olup "Arga'lar" veya "Argav'lar" anlamını ifade eder. 11. yüzyıla ait Ermenice vekayinamelerde ise Argawan adı kullanılır. Bilge Umar eski bir Anadolu dilinde *Argawana adının "gümüşyeri" anlamına gelmesi ihtimali üzerinde durursa da bu görüşün belgesel temeli zayıftır..
Osmanlı Devleti zamanında Tahir bucağı adı ile Arapgir'e bağlı olan Arguvan, sonradan ilçe olarak Diyarbakır'a bağlanmış daha sonra 1873'de tekrar Tahir adı ile Keban'a bağlı bir nahiye haline getirilmiş, Cumhuriyetin İlanıyla merkez ilçe olarak Malatya'ya bağlanmış, 1954 yılında Tahir nahiyesi merkez olmak üzere Arguvan adı ile Malatya iline bağlı bir ilçe haline getirilmiştir.