L'origine de la ville est phénicienne. Les Romains s'y installent par la suite. Mais la véritable histoire de Mahdia commence avec Obeid Allah Obeid (909-934), imam de la sécession chi'ite, qui bat en 909 à Raqqada (près de Kairouan) les Aghlabides. Il se proclame alors el-Mahdi ("Elu de Dieu").
Mais, se défiant de la capitale, Kairouan, foyer de la résistance des berbères kharijites, il s'installe en 916 à l'abri d'une forteresse de ce qui deviendra plus tard Mahdia. Il en fait la capitale Fatimide de son Emirat. Assiégée durant 8 mois (944-945) par les kharijites, la ville, surnommée "Le poignard de Dieu" résiste victorieusement. En 990, la ville est prise par les chrétiens. En 1057, les Zirides s'y réfugient face à la menace des Beni Hilal. Roger II de Sicile l'occupe de 1148 à 1160 avant d'en être délogé par les Almohades.

La ville perd de son importance politique au profit de Tunis et est la proie de plusieurs sièges: en 1390 les franco-génois échouent devant la place forte le corsaire Dragut l'investit en 1549 mais en est chassé par Charles Quint en 1550. les Espagnols y restent jusqu'en 1554, et en repartant font sauter les remparts que les Ottomans ne reconstruiront que partiellement. Mahdia connaît ensuite une longue période de calme et devient le premier port de pêche de Tunisie.

Aujourd'hui la ville compte 39 000 âmes. Ne vivant pas encore du tourisme, la cité garde le charme d'une petite bourgade maritime encore authentique.