Was sind CSV-Dateien?

CSV ist die Abkürzung für Comma Separated Values und ist ein häufig genutztes Dateiformat beim Austausch von strukturierten Daten. Es wird von vielen gängigen Datenbanken oder Textprogrammen, wie Excel oder Editor, unterstützt, sowohl beim Lesen als auch bei der Ausgabe von Informationen.

Was ist eine CSV-Datei?

Eine CSV Datei (kurz für Comma Separated Values) ist eine Text- oder Datenbankdatei, die in vielen Anwendungen zum Transfer von Daten genutzt wird. Darin können Daten gespeichert werden, die in Tabellen organisiert sind. Der Name stammt daher, dass in der Ursprungsform Werte mithilfe von Kommas getrennt werden. Jedoch lassen sich auch andere Trennzeichen nutzen. In Deutschland beispielsweise wird oft das Semikolon (“;”) verwendet, da es ansonsten zu Verwechslungen mit dem Komma bei Dezimalzahlen kommen könnte.

Eine CSV-Datei lässt sich mit den gängigen Textprogrammen, wie Excel oder dem Texteditor, öffnen und bearbeiten. Die relativ einfache Lesbarkeit von Comma Separated Values Dateien führt auch zu deren weiter Verbreitung. In den Bearbeitungsprogrammen lässt sich auch meist das Trennungszeichen angeben, wenn es sich nicht um ein Komma handelt.

Wie ist eine CSV-Datei aufgebaut?

Der offizielle Aufbau einer CSV-Datei wird im RFC Standard 4180 geregelt. Dabei werden die folgenden, sehr schwammigen, Merkmale genannt, die in einer Comma Separated Values Datei gegeben sein müssen:

Jeder Datensatz ist in einer einzelnen Zeile abgespeichert. Ein Zeilenumbruch trennt zwei verschiedene Datensätze voneinander.
In der letzten Zeile der Datei kann es einen letzten Zeilenumbruch geben, muss es aber nicht.
Die erste Zeile des Dokuments kann, muss aber nicht, eine sogenannte Überschriftszeile sein. In dieser gibt es genauso viele Einträge wie bei jedem anderen Datensatz mit dem Unterschied, dass dort die Namen für die Spalten gepflegt sind.

Neben diesen formellen Merkmalen gibt es auch andere Gepflogenheiten, die sich über die Jahre etabliert haben. Wie der Name bereits sagt, sind die Werte eines Datensatzes mit Kommas getrennt. Im deutschsprachigen bzw. europäischen Raum kann jedoch auch ein Semikolon (“;”) als Datentrenner genutzt werden. Dies wurde eingeführt, da in diesem Sprachgebrauch Dezimalzahlen auch mit Kommas getrennt werden und es dadurch zu Verwechslungen kam.

Leere Felder in einer CSV Datei müssen nicht explizit gekennzeichnet sein, sondern werden abgespeichert, indem zwei Kommas (oder zwei Semikolons) direkt aufeinander folgen.

Texteditor Ansicht einer CSV-Datei | Quelle: Autor

Wenn man eine CSV-Datei im Texteditor öffnet, sieht man diese Struktur sehr gut. In der obersten Zeile finden wir den Header mit den Spaltennamen (“index”, “id”, “dateAdded”,…). Da es sich in diesem Fall um eine amerikanische Datei handelt, sind die Werte auch wirklich mit Kommas getrennt. Aufgrund der unterschiedlichen Längen der Einträge, ist eine Spalte nicht genau untereinander, weshalb die Datei in diesem Fall nur schwer spaltenweise zu lesen ist.

Wie definiert man Datenformate in CSV?

Das Problem bei Comma Separated Value Dateien ist die fehlende Definition eines Datentyps. Dadurch können gewisse Angaben schnell falsch interpretiert werden. Die Angabe 2/10/2022 kann dabei beispielsweise entweder den 2. Oktober 2022 meinen oder aber den 10. Februar 2022, je nachdem von wem die Datei geöffnet wird. Somit müssen die beteiligten Parteien beim Datenaustausch definieren, wie die einzelnen Felder interpretiert werden müssen.

Bei diesen Datentypen kann es beispielsweise zu Problemen kommen:

Datumsangaben
Zahlenformat, z.B. trennt ein Punkt Tausenderstellen oder Dezimalstellen?
Texte, z.B. welche Zeichencodierung soll genutzt werden?
Zeitangaben, z.B. bedeutet 4:03 entweder 4 Minuten und 3 Sekunden oder 4 Stunden und 3 Minuten?

Welche Anwendungen nutzen Comma Separated Files?

Die Comma Separated Value Dateien eignen sich vor allem für tabellarisch angeordnete Daten, die zwischen mehreren Systemen ausgetauscht werden sollen. Folgende Anwendungen nutzen beispielsweise das Dateiformat:

Websites, die einen Datendownload anbieten, der nicht über ein Application Programming Interface stattfinden kann.
Viele Buchhaltungsprogramme nutzen das Dateiformat als Eingabe oder Ausgabe.
Enterprise Resource Planning Tools, wie beispielsweise SAP, geben CSV Dateien aus, in denen beispielsweise der Lagerbestand abgelegt ist.

Wie können CSV-Dateien in Python geöffnet werden?

In Python lassen sich Comma Separated Values Dateien am Besten mithilfe von Pandas öffnen. Die Daten werden direkt in einen sogenannten DataFrame gespeichert. Das ist ein Dateiformat von Pandas, das speziell für tabellarische Daten genutzt wird.

Den entsprechenden Datensatz ist von dieser Kaggle-Seite entnommen.

Welche Probleme treten häufig bei der Arbeit mit CSV-Dateien auf?

Die meisten Probleme mit CSV-Dateien hängen oft mit der Formatierung und Kodierung zusammen, was zu Fehlern beim Lesen oder Schreiben der Datei führen kann. Einige häufige Probleme sind:

Inkonsistente Begrenzungszeichen: CSV-Dateien werden in der Regel durch Kommas getrennt, aber auch andere Trennzeichen wie Semikolons, Tabs und Pipes können verwendet werden. Inkonsistente Begrenzungszeichen innerhalb einer Datei können zu Fehlern beim Parsen der Datei führen.
Fehlende Daten: Wenn in den Daten Werte fehlen, kann dies beim Lesen oder Analysieren der Datei zu Problemen führen. Manchmal werden fehlende Daten durch eine leere Zelle dargestellt, in anderen Fällen durch einen bestimmten Wert wie “NA” oder “null”.
Kodierungsfehler: CSV-Dateien werden in der Regel in UTF-8-Kodierung gespeichert, aber manchmal werden Dateien in anderen Kodierungen wie ANSI oder ASCII gespeichert. Dies kann zu Problemen mit Sonderzeichen und nicht-englischen Zeichen führen.
Zeilenenden: Verschiedene Betriebssysteme verwenden unterschiedliche Zeilenenden, was bei der Übertragung von Dateien zwischen Systemen zu Problemen führen kann. Windows verwendet in der Regel Wagenrücklauf- (CR) und Zeilenvorschubzeichen (LF), während Mac- und Linux-Systeme nur LF-Zeichen verwenden.
Große Dateien: CSV-Dateien können unhandlich und schwierig zu bearbeiten sein, wenn sie sehr groß sind. Große Dateien können die Verarbeitungszeiten verlangsamen und zu Speicherproblemen führen. Es ist wichtig, die Dateigröße und -struktur zu berücksichtigen.

Wenn Sie sich dieser häufigen Probleme bewusst sind und Maßnahmen ergreifen, um sie zu beheben, können Sie Fehler vermeiden und sicherstellen, dass Ihre CSV-Dateien genau und für die Analyse nützlich sind.

Welche Best-Practices sollte man beachten?

Um die eben genannten Probleme zu verhindern und gar nicht erst entstehen zu lassen, gibt es einige Tipps, die man sich zu Herzen nehmen kann. Außerdem haben sich im Laufe der Jahre diese Best Practices durchgesetzt:

Definiere immer eine Kopfzeile: Eine Kopfzeile enthält eine Beschreibung der Daten in jeder Spalte und erleichtert so das Verständnis und die Arbeit mit den Daten.
Wähle das Begrenzungszeichen sorgfältig aus: Das Komma ist das gebräuchlichste Trennzeichen in CSV-Dateien, aber je nach Datenlage können andere Trennzeichen wie Semikolon oder Tabulator besser geeignet sein. Zum Beispiel im europäischen Sprachraum wird das Komma auch genutzt, um die Dezimalstellen einer Zahl zu trennen. Hier bietet sich also das Semikolon mehr an.
Behandle fehlende Daten: Da in CSV-Dateien häufig Daten fehlen, ist es wichtig zu entscheiden, wie damit umgegangen werden soll. Ein gängiger Ansatz ist die Verwendung eines speziellen Symbols wie “NA” oder “NULL” zur Kennzeichnung fehlender Werte.
Verwende eine einheitliche Formatierung: Eine einheitliche Formatierung erleichtert das Lesen und Arbeiten mit diesen Dateien. So sollten beispielsweise Datumsangaben in der gesamten Datei gleich formatiert sein.
Achte auf Kodierungsprobleme: CSV-Dateien können Kodierungsprobleme aufweisen, wenn sie nicht im richtigen Format gespeichert sind. Speichere deshalb immer in UTF-8-Kodierung, die weitgehend unterstützt wird und alle Zeichen verarbeiten kann.
Prüfe auf Fehler und Inkonsistenzen: Vor der Arbeit mit CSV-Dateien ist es wichtig, die Daten auf Fehler und Inkonsistenzen zu überprüfen. Dies kann die Überprüfung auf fehlende Werte, falsche Datentypen oder inkonsistente Formatierung beinhalten.
Ziehe die Verwendung einer CSV-Bibliothek in Betracht: Wenn Du mit großen oder komplexen CSV-Dateien arbeitest, kann es hilfreich sein, eine CSV-Bibliothek zu verwenden. Diese Bibliotheken können Aufgaben wie das Parsen, Bereinigen und Formatieren von Daten übernehmen. Zu den beliebtesten Bibliotheken gehören Pandas und CSVKit.

Wie unterscheidet sich Parquet von CSV?

CSV Dateien sind eine der meistgenutzten Dateiformate im analytischen Bereich und werden von vielen Anwendern bevorzugt, da sie leicht verständlich und mit vielen Programmen kompatibel sind. Deshalb bietet sich der Vergleich mit Apache Parquet an. Des Weiteren sind CSV-Dateien zeilenorientiert, also speichern Datensatz für Datensatz ab und bilden somit das genaue Gegenteil zu Apache Parquet Dateien. Für den Vergleich werden wir einige, verschiedene Kriterien nutzen.

Apache Parquet ist ein spaltenorientiertes Datenformat, das nicht nur als Open-Source zur Verfügung steht, sondern auch die effiziente Verarbeitung von komplexen, großen Datenmengen ermöglicht. Darüber hinaus ist es in den verschiedensten Programmiersprachen nutzbar, darunter auch Python.

Datenanalyse

Bei der Datenanalyse sind CSV-Dateien immer noch der Quasi-Standard, da es für viele Anwender einfach verständlich ist und gleichzeitig eine gute Basis für einen schnellen und unkomplizierten Datentransport bietet. Des Weiteren ist es mit vielen Analysetools, wie Power BI oder Tableau, kompatibel. Durch den zeilenorientierten Aufbau können jedoch einzelne Abfragen oder Änderungen sehr lange dauern, vor allem wenn eine Tabelle viele Spalten besitzt. Gleichzeitig müssen bei CSV verschachtelte Daten in einer Spalte erst aufwendig getrennt werden, während Parquet damit nativ bereits sehr gut umgehen kann.

Query Performance

Bei vielen Abfragen im Data Science Bereich sind lediglich einzelne Spalten von Interesse, da mit diesen Aggregationen, wie Summen oder Durchschnitte, durchgeführt werden. Dafür ist Apache Parquet aufgrund der Spaltenorientierung deutlich besser geeignet als CSV. Bei CSV Dateien müssen immer alle Spalten bei einer Abfrage berücksichtigt werden, auch wenn diese gar nicht für das schlussendliche Ergebnis benötigt werden. Diese Zeilenorientierung kann nur dann sinnvoll sein, wenn man Informationen aus einzelnen Zeilen benötigt, beispielsweise wenn man einzelne Aufträge im gesamten Auftragsbestand suchen will. Das ist jedoch in den seltensten Fällen wirklich gewünscht.

Ressourceneffizienz

Durch die optimale Datenkomprimierung bei Apache Parquet können dieselben Daten mit weniger Speicherplatz gespeichert werden, als vergleichbare CSV Dateien. Dadurch entstehen weniger Kosten beim Festplattenverbrauch oder bei Cloud-Lizenzen, falls die Daten dort liegen. Das kann bei großen Datenmengen schnell sehr viel Geld ausmachen. Vor allem sparen die geringeren Datenmengen auch in nachfolgenden Schritten Geld und Zeit ein. Wenn die Daten nämlich verarbeitet werden kann dies nämlich dann deutlich schneller passieren und erfordert dadurch weniger Hardware, auch das spart wieder hohe Kosten ein.

Auf der anderen Seite ist geschultes Personal im Umgang mit Apache Parquet nicht so stark verbreitet, wie Mitarbeiter, welche mit CSV umgehen können. In diesem Punkt hängt es also von der Datenmenge ab, ob sich der Einkauf von geschultem Personal auch tatsächlich auszahlt. Jedoch ist dies sehr häufig der Fall.

Das solltest Du mitnehmen

CSV-Dateien sind ein weit verbreitetes Datenformat für Text- und Datenbankinformationen.
Die Struktur dieser Dateien ist nur sehr wenig definiert.
Verschiedene Anwendungen, wie beispielsweise Buchhaltungsprogramme, nutzen dieses Dateiformat.