Bin noch einen kleinen Schritt weiter gekommen.
Ich habe bei Imagemagick.org die empfohlene Windows-Version ImageMagick-7.0.7-4-Q16-x64-dll.exe heruntergeladen. Bei der Installation kann man "legacy" anklicken, dann wird auch convert.exe mit installiert. Wie auch miktex habe ich imagemagick in D:\xampp installiert und anschließend den Pfad zur convert.exe in Plugins -> Tex-Notation gesetzt. (Ich denke, statt convert.exe müsste auch magick.exe funktionieren. Habs ausprobiert, sehe aber keine Änderungen).
Zur Prüfung, ob das Ganze funktioniert, habe ich das Ausgabeformat auf png gesetzt; in diesem Fall sollte eigentlich vonvert.exe verwendet werden. Die Ausgabe ist leider wieder nur groß und verpixelt, identisch mit der Ausgabe als gif.
Ich stelle wieder zurück auf svg, dann ist alles gut. So lasse ich das jetzt.