Umlaute bei der Migration von CSV

[ak59]

Hallo zusammen,

ich bin neu hier und bin bei der Suche nach einem neuen Vereinsverwaltungsprogramm auf JVerein gestoßen. Auf den 1. Blick fand ich nichts, das uns fehlen würde und ich habe unsere bestehenden Daten so umgestellt, daß ich sie über die Migrationsfunktion ohne Fehler importieren kann.

Kurz zu meiner Systemumgebung:
MacOS, Monterey
Python3.13.2
Excel 16.16.27
LibreOffice 25.8.2.2
Windows 11
Office 2016

Nur die Umlaute bereiten enorme Probleme. Die 1. Umstellung erfolgte über ein Python-Script. Ich habe verschiedene Codecs ausprobiert und natürlich auch IOS-8859-1, leider alles ohne Erfolg - in JVerein werden die Umlaute je nach Exportformat verschieden falsch/kryptisch dargestellt. Öffne ich die Datei z.B. mit Excel werden alle Umlaute richtig dargestellt, je nach vorherigem Export über Python danach auch mal kryptisch. Auch alles ohne Erfolg. Das selbe gilt für ähnlicher Versuche unter Windows 11 mit Excel oder mit LibreOffice unter MacOS. Ich sehe dafür:

% file Import_Test.csv
Import_Test.csv: ISO-8859 text

bzw.:

Eine einzeilige Beispieldatei habe ich angehängt.

Die einzige Möglichkeit die Daten zu korrigieren scheint die manuelle Veränderung der Daten, gefolgt von einem Neustart zu sein. Aber ich kann kaum glauben, daß man keine Daten mit Umlauten importieren kann und gehe eher von einem Fehler bei mir aus.

Viele Grüße,

Andreas

Import_Test.csv

(412 Bytes) 21-mal heruntergeladen

[accoman]

Hallo,

welche Codecs hast du denn versucht? Würde mich aus zwei Gründen interessieren:
1. weil ich - in verschiedenen Programmen - auch immer wieder vor solchen Problemen stehe
2. vielleicht liegt da ja die Ursache

[ak59]

Hi,

UTF-8, UTF-8-BOM, UTF-16, UTF-8-SIG, ISO-8859-1, ISO-8859-15 ... evtl. noch ein paar mehr und wie erwähnt aus Excel unter MacOS und Win11 auch diverse. Ich hatte auch versucht die "locale" zu ändern, auch ohne Erfolg.

Ich werde die 30-40 Änderungen nun manuell vornehmen.

Viele Grüße,

Andreas

P.S.: Wenn ich wüsste, welche Zeichen denn nun genau akzeptiert würden, wäre ich sicher in der Lage mein Script umzustellen. Ist in grob 40 Jahren mit Scripting das 1. Mal, das ich das nicht hinbekomme. Evtl. steht das irgendwo im SourceCode, aber bis ich das finde hab ich's manuell geändert.

[accoman]

Nochmals ein Versuch:
Verwende mal den alten Code Windows-1252 (wenn du das nicht auch schon gemacht hast). Der unterscheidet sich von 8859-1 durch die Zeichen über "80", da er dort auch druckbare Zeichen enthält. Nachzulesen z. B. in https://de.wikipedia.org/wiki/ISO_8859-1.

Ich muss in phpMyAdmin beispielsweise CSV-Dateien zwingend in diesem Code importieren.

[ak59]

Hallo zusammen,

langsam habe ich den Verdacht, daß die Software nicht ganz ausgegoren ist und nicht wirklich verlässlich nutzbar ist. Bei einem Versuch die Umlaute manuell zu ändern stürzt die Software bei jeder 2. oder 3. Änderung ab. Das mag auch damit zusammenhängen, daß eine Änderung des Namens nicht zu einer direkten Änderung des Mitgliedskontos führt.

Um zu sehen, ob mein Import evtl. an MacOS lieg, habe ich JVerein unter Windows 11 installiert. Dort ist die IBAN Pflicht, unter MacOS nicht - wir haben Mitglieder, die vom Beitrag befreit sind und dafür wollten wir keine IBAN eingeben müssen. Das lässt sich zwar durch Test-IBANs umgehen, aber inkonsistent ist es trotzdem.

Korrektur: die erwähnten Unterschiede liegen in der unterschiedlichen Version - 3.2.0 unter MacOS und 2.8.23 unter Win11.

Viele Grüße,

Andreas

[lenilsas]

Moin,
wir haben heute einen Fehler gefunden und soeben behoben. Ich habe gerade die Version 3.2.1 rausgegeben mit der es nun nicht mehr zum Absturz kommen sollte.
Die Kodierungsprobleme scheue ich mir heute Abend nochmal an.
Grüße
Nils

[lenilsas]

Moin,
Bei mir funktioniert der Import mit der Datei von dir problemlos. Alles wird richtig dargestellt.
Verwendest du die integrierte Datenbank H2 oder mySql/Mariadb?
Grüße
Nils