Das Problem war, beim Importieren muss man dem cli-Tool sagen, dass die Daten utf8 sind. Also
$ mysql --default-character-set=utf8 -u user -p
die lange Option hat vorhin gefehlt.
Hinweis nach einer Websuche hier gefunden: http://admirableadmin.de/25/mysql-umlaute-wiederherstellen