Linux: von txt zu SQL-Script

[Ohio (Gast)]

Hallo Forum,

ich habe mehrere txt-Dateien vorliegen, deren Daten ich in eine 
Datenbank einpflegen soll.

Die txt-Dateien haben alle die selbe Struktur

Spaltenname1         Inhalt1
Spaltenname2         Inhalt2
Spaltenname3         Inhalt3
Spaltenname4         Inhalt4
Spaltenname5         Inhalt5
<Leerzeile>
Spaltenname1         Inhalt1
Spaltenname2         Inhalt2
Spaltenname3         Inhalt3
Spaltenname4         Inhalt4
Spaltenname5         Inhalt5
<Leerzeile>
Spaltenname1         Inhalt1
...

Die Spaltenzahl ist innerhalb jeder txt-Datei konstant, aber in den 
verschiedenen txt-Dateien unterschiedlich.

Wie ließen sich daraus SQL-Anweisungen wie

INSERT INTO <Tabelle>
   (
     Spaltenname1,
     Spaltenname2,
     Spaltenname3,
     Spaltenname4,
     Spaltenname5
   )
VALUES
   (
      Inhalt1,
      Inhalt2,
      Inhalt3,
      Inhalt4,
      Inhalt5
   );

erzeugen?

[Peter II (Gast)]

Ohio schrieb:
> Wie ließen sich daraus SQL-Anweisungen wie
> erzeugen?

z.b. mit einen kleinen Perlscript.

[Norbert (Gast)]

...oder awk...

...oder Python...

...oder Bash...

...oder...


Tausend Wege führen hier nach Rom.

[Ohio (Gast)]

Norbert schrieb:
> ...oder Bash...

genau hier suche ich die Lösung, wobei mir schon Teillösungen nicht 
gelingen.
Mein Gedanke war:
1) an jede Nicht-leere Zeilen am Anfang eine Absatznummerierung 
einzufügen
2) mir mit grep Schleifenweise die Absätze anzeigen
3) mit read über den Absatz SpaltennameX und InhaltX abspeichern
4) mit echo die Ausgabe in eine Datei zu erzeugen

an Punkt 1 hängt es gerade, die Scripte für sed finde ich eher 
undurchschaubar.

[Peter II (Gast)]

Ohio schrieb:
>> ...oder Bash...
>
> genau hier suche ich die Lösung, wobei mir schon Teillösungen nicht
> gelingen.

warum ausgerechnet bash? Das ist nun wirklich das ungeigneteste für 
diesen zweck. AWK oder Perl sind für diese zwecke besser.

[Norbert (Gast)]

Ohio schrieb:
> Norbert schrieb:
>> ...oder Bash...
>
> genau hier suche ich die Lösung, wobei mir schon Teillösungen nicht
> gelingen.
> Mein Gedanke war:
> 1) an jede Nicht-leere Zeilen am Anfang eine Absatznummerierung
> einzufügen
> 2) mir mit grep Schleifenweise die Absätze anzeigen
> 3) mit read über den Absatz SpaltennameX und InhaltX abspeichern
> 4) mit echo die Ausgabe in eine Datei zu erzeugen
>
> an Punkt 1 hängt es gerade, die Scripte für sed finde ich eher
> undurchschaubar.

Es geht zwar mit allen genannten Werkzeugen, aber Bash steht nicht 
umsonst an dritter Stelle;-)

Wie PeterII bereits schrieb, nimm awk, perl, python, was immer du am 
besten beherrschst.

[Vlad T. (vlad_tepesch)]

kleiner Tip:

leerer String für fields,
leerer String für values

textdatei zeilenweise einlesen.
ist zeile nicht leer:
  zeile aufteilen
  fields string um neues feld ergänzen
  values string um neuen value ergänzen
sonst
  "INSERT INTO tabelle (" + fields + ")VALUES(" + values + ");"
  ausgeben
  fields und values wieder auf leer setzen

[Ohio (Gast)]

Vlad Tepesch schrieb:
> kleiner Tip:
>
> .....


der Tip war prima, es klappt! (fast)

mein Script sieht nun so aus:

#!/bin/bash

DATEI=/home/user1/test.tmp
FIELDS=""
VALUES=""

while read line
do
   if [ ! -z "$line" ] ; then 
      read F V
      if [ ! -z "$FIELDS" ] ; then
         FIELDS="$FIELDS, $F"
         VALUES="$VALUES, $V"
      else
         FIELDS="$F"
         VALUES="$V"
      fi
   else
      if [ ! -z "$FIELDS" ] ; then
         echo "INSERT INTO tabelle ($FIELDS) VALUES ($VALUES);"
      fi
      FIELDS=""
      VALUES=""
   fi
done < $DATEI

meine Ausgabe sieht so aus:

INSERT INTO tabelle (Spaltenname2, Spaltenname4, Spaltenname6) VALUES (Inhalt2, Inhalt4, Inhalt6);
INSERT INTO tabelle (Spaltenname2, Spaltenname4, Spaltenname6) VALUES (Inhalt2, Inhalt4, Inhalt6);
INSERT INTO tabelle (Spaltenname2, Spaltenname4, Spaltenname6) VALUES (Inhalt2, Inhalt4, Inhalt6);
INSERT INTO tabelle (Spaltenname2, Spaltenname4, Spaltenname6) VALUES (Inhalt2, Inhalt4, Inhalt6);
INSERT INTO tabelle (Spaltenname2, Spaltenname4, ) VALUES (Inhalt2, Inhalt4, );

es fehlen mir jeweils die ungeraden Zeilennummern - wo könnten die denn 
verloren gegangen sein?

Dank

[Norbert (Gast)]

Du musst - wenn du eine Leerzeile gelesen hast - solange eine weitere 
Leseschleife laufen lassen bis wieder eine Leerzeile auftaucht.

PS.
Hoffentlich enthalten deine Inhalte keine <spaces>!

[Ohio (Gast)]

Norbert schrieb:
> Du musst - wenn du eine Leerzeile gelesen hast - solange eine weitere
> Leseschleife laufen lassen bis wieder eine Leerzeile auftaucht.

Das verstehe ich leider nicht.
Die Ausgabe bei Leerzeilen an sich klappt ja, das Problem sehe ich beim 
Zusammensetzen der Variablen bei Nicht-Leerzeilen.

Liest eventuell das

 read F V

 schon die nächste Zeile an, anstelle im Inhalt von $line?

Norbert schrieb:
> Hoffentlich enthalten deine Inhalte keine <spaces>!

Das kann ich leider nicht ausschließen - werde ich dort ein Problem mit 
dem Read bekommen?

[Vlad T. (vlad_tepesch)]

Ich kann kein bash, aber ich denke das problem ist, dass du zweimal 
ließt:

while read line
do
   if [ ! -z "$line" ] ; then 
      read F V

du darfst natürlich nicht, wenn du festgestellt hast, dass die Zeile 
NICHT leer war, gleich die nächste einlesen.

Edit:
Ohio war schneller

[Norbert (Gast)]

Ohio schrieb:

> Norbert schrieb:
>> Hoffentlich enthalten deine Inhalte keine <spaces>!
>
> Das kann ich leider nicht ausschließen - werde ich dort ein Problem mit
> dem Read bekommen?

Der read packt das erste Wort in F und - WIMRE - alle weiteren in V

Du bekommst ein Problem mit dem SQL INSERT.

Denn wenn's ein space beinhaltet, wird's wohl ein String sein.
Und der möchte gerne in  '  <<--- so etwas eingepackt werden.

[Valerie (Gast)]

Bevor man hier irgendwelche Skripte schreibt wuerde ich mir mal 
"mysqlimport" genauer durchlesen.

[Wegstaben V. (wegstabenverbuchsler)]

bei oracle und DB2 werden direkt Loader-Utilities mitgeliefert, z.B.

http://www.orafaq.com/wiki/SQL*Loader_FAQ