[Lookbehind]

Hi,
ich habe eine CSV-Datei mit Kommagetrennten Werten. Dort sind eine ganze Menge Spalten überflüssig. Da die Datei insgesamt aber vergleichsweise groß ist, möchte ich die nich so gerne händisch bearbeiten müssen. Da gibts doch bestimmt nen Automatismus für?
Gerne auch Lösungen die mit Linux funktionieren

Gruß

Look

[Eduard Bär]

$ echo -e "asdf,qwer,yxcv\nfoo,bar,baz" | cut -d , -f 1,3
asdf,yxcv
foo,baz

Geht natürlich nur, wenn du kein Komma innerhalb der Spalten verwendest.

[Lookbehind]

...
Geht natürlich nur, wenn du kein Komma innerhalb der Spalten verwendest.

Kann ich nicht garantieren. Auf den ersten Blick finde ich zwar keine, aber die Datei ist einfach zu groß, als das man da wirklich einen Überblick hätte. Und da auch von Menschen geschriebener Text dabei ist, kann ich mir durchaus vorstellen, dass da vielleicht mal ein Komma mit dabei ist.

Das Blöde ist: Der Fehler würde wahrscheinlich erst in 1-2 Monaten auffallen und dann aber richtig Arbeit nach sich ziehen.

[Eduard Bär]

Dann probiers mal hiermit:

#!/usr/bin/env python
import csv,sys,operator

for row in csv.reader(iter(sys.stdin.readline, ''), delimiter=',', quotechar='"'):
    csv.writer(sys.stdout).writerow(operator.itemgetter(0,2)(row))

Einfach in eine Datei schreiben und dein CSV an die Datei cat-en. In der Klammer hinter itemgetter kannst du die Spalten angeben die du haben möchtest.

$ cat test.csv 
foo,bar,baz
"Hello, world","foo, bar, baz",asdf

$ cat test.csv | ./csvtest.py 
foo,baz
"Hello, world",asdf

edit:
Ah, man kann das auch zu einem Oneliner machen:
cat test.csv | python -c "import csv,sys,operator;[csv.writer(sys.stdout).writerow(operator.itemgetter(0,2)(row)) for row in csv.reader(iter(sys.stdin.readline, ''), delimiter=',', quotechar='\"')]"

[Lookbehind]

Gute Idee, bloß..

cat my_csv.csv | ./csv_cut.py > my_csv_short.csv 
Traceback (most recent call last):
  File "./csv_cut.py", line 52, in <module>
    csv.writer(sys.stdout).writerow(operator.itemgetter(1,2,3,4,5,6,7,8,11,12,13,14,15,18,19,20,21,30,31,34,35,36,37,40,44,49,50,51,52,55,57,58,51,65,76,89)(row))
IndexError: list index out of range

Problem ist, dass teilweise ganz leere Zeilen drin zu sein scheinen, bzw teilweise auch Zeilenumbrüche innerhalb einzelner Felder. Ganz großes Tennis... Aber was hab ich erwartet? Der csv-Export stammt ja auch von einem Qualitätsprodukt. *grmpf*

[Eduard Bär]

Hm... ja... dann weiß ich leider auch nicht weiter.

Sind die Zeilenumbrüche regelmäßig oder durch Zeichen wie \ gekennzeichnet? Dann könnte man vielleicht erst die Zeilenumbrüche korrigieren und anschließend das Python Skript verwenden.

[Lookbehind]

...
Sind die Zeilenumbrüche regelmäßig oder durch Zeichen wie \ gekennzeichnet? Dann könnte man vielleicht erst die Zeilenumbrüche korrigieren und anschließend das Python Skript verwenden.

Schön wärs... aber was will man von einer Firma erwarten, die sich nichtmal an ihre eigenen Standards halten kann...
Kein Bock mehr auf den Rotz... heute is Feiertag

Danke dir trotzdem.

[Lookbehind]

Man könnte nach den Anführungszeichen gehen. Die Datei ist etwa so aufgebaut:

"wert1","wert2","wert

25
","wert42","
wert52"
"wert1","wert2","wert25","
wert

42
","
wert52"

[Eduard Bär]

Ich hab das Python Skript grad nochmal mit deinem Beispiel getestet. Korrekt gequotete Zeilenumbrüche sind kein Problem. Das Problem scheint an den leeren Zeilen zu liegen. Die könntest du ja aber mit sed leicht entfernen: sed -i '/^$/d' test.csv

[Blue Force]

Problem ist, dass teilweise ganz leere Zeilen drin zu sein scheinen, bzw teilweise auch Zeilenumbrüche innerhalb einzelner Felder. Ganz großes Tennis... Aber was hab ich erwartet? Der csv-Export stammt ja auch von einem Qualitätsprodukt. *grmpf*

und wenn du mit dem "Qualitätsprodukt" (ich tippe mal auf Excel) die Datei importierst, dann die Spalten löschst die du nicht brauchst, und wieder exportierst?