Grafenwörth ist der größte Ort der Marktgemeinde mit Sitz der Gemeindeverwaltung. Der Name „Grafenwörth“ hat seinen Ursprung im mittelhochdeutschen „Grafenwerd“. Aus dem Jahr 1210 stammt die erste gesicherte Erwähnung dieses Namens. Als „werd“ verstand man „von Wasser umflutetes Grünland“. Der Sitz des Adeligen, der das Gebiet zu verwalten hatte, dürfte auf einer Insel in den damals weit verzweigten Donauauen gelegen haben.
Seit langer Zeit ist Grafenwörth ein bedeutender regionaler
Wirtschaftsstandort. Bereits um 1400 wurden Wochen- und Jahrmärkte
abgehalten. 1578 erhielt Grafenwörth durch Kaiser Rudolf II. das
Marktrecht verliehen. Die Verleihungsurkunde ist heute, als eines der
wichtigsten Exponate, im Heimatmuseum zu bewundern.
Ein großer Sohn Grafenwörths ist der Barockmaler Martin Johann
Schmidt, genannt Kremser Schmidt. Er wurde 1718 geboren und starb 1801.
Sein Geburtshaus ist erhalten geblieben. Eine Gedenktafel und eine
Bronzebüste erinnern an ihn. Schmidt erlangte durch seine
ausdrucksstarken Werke bleibenden Ruhm. Die Hochaltarskulpturen und das
Deckenfresko der Grafenwörther Pfarrkirche stammen aus der Hand eines
seiner Schüler.