Artikel - Import dauert ewig

System: CAO-Faktura v 1.4.4.243(K)
DB: MySQL 4.1 auf Debian Linux VM im ESXi 5.x

Hallo Gemeinde,
ich versuche von 3 Lieferranten die Preislisten - Dateien (csv / txt, tab-getrennt) (etwa jeweils 165 000 Artikel) per Extra - Import/Update in mein CAO zu bekommen.
Ich bestelle meistens bei diesen drei Lieferranten. Später soll ein Automatismus (linux shell script) die täglich frisch bereitgestelle Dateien holen und integrieren, aber das ist noch Zukunft und im jetzt versuche ich das einfach dass die Daten mal eingepflegt sind von Hand.

Nachdem ich die Feld-, Wert- und Key-Zuweisungen erledigt habe, lasse ich per Import-Status das prüfen. Das dauert zwar ne Weile aber das ist noch ok. Beim anschließenden import dauert eine Preislisten-Datei ca 3,5 Stunden. Da stimmt doch was nicht? Wenn ich dann die zweite Datei einspielen will dauert das noch länger. Auch wenn ich ein Update der ersten Datei bekommen habe um die dann einzuspielen dauert es ebenfalls noch länger.

Umgebung:
- full-dumplex 1Gbit LAN
- Virtuelle Maschine mit Debian 6 und 4 GB Ram /20 GB Festplatte auf 6-core ESXi 5.5

Könnt Ihr mir helfen? Im Forum und auf den anderen CAO-Seiten habe ich schon geschaut. Auch Google gequält

Beispielzeile einer Preisliste

Code: Alles auswählen

15003285	C5141F	HEWLETT PACKARD ENTERPRISE	4948382338792	HPE DLT IV Data Cartridge 40 / 80GB 1er-Pack	3	83.59	85.6	Speichermedien	magnetische Speichermedien	DLT Datentraeger		.287

Feldzuweisungen

• Feld_05 --> Matchcode
  Feld_01 --> Artnum
  Feld_04 --> Barcode
  Feld_05 --> Kurzname
  Feld_05 --> Langname
  Feld_05 --> Kas_Name
  Feld_13 --> Gewicht
  Feld_07 --> EK_Preis
  Feld_08 --> VK5
  Feld_03 --> Hersteller_Name
  Feld_02 --> Herst_Artnum

mysql - Konfigurationsdatei - Kommentargekürzt

Code: Alles auswählen

[client]
port = 3307
socket = /usr/local/mysql4/var/mysqld.sock

[mysqld]
port		= 3307
socket		= /usr/local/mysql4/var/mysqld.sock
skip-locking
key_buffer = 128M
max_allowed_packet = 30M
table_cache = 64
sort_buffer_size = 2M
net_buffer_length = 16M
read_buffer_size = 16M
read_rnd_buffer_size = 16M
myisam_sort_buffer_size = 24M

log-bin
server-id	= 1

[mysqldump]
quick
max_allowed_packet = 128M

[mysql]
no-auto-rehash

[isamchk]
key_buffer = 128M
sort_buffer_size = 32M
read_buffer = 16M
write_buffer = 16M

[myisamchk]
key_buffer = 128M
sort_buffer_size = 32M
read_buffer = 16M
write_buffer = 16M

[mysqlhotcopy]
interactive-timeout

vielen Dank für eure Hilfe

Grüße
starfoxx

Generell ist wohl der Import nicht so Leistungsfähig wie man das gerne hätte.

Das liest sich quer durch das Forum.
Immer wieder Tempo und "Speicherprobleme".
Woran das genau liegt kann ich dir jetzt nicht sagen - wurde, wie gesagt, schon einige male hier durchgekaut
(such mal danach).

Ich würde spontan sagen, drittel CSV-Tabellen einfach (oder noch kleiner) -
Denn es ist schon eine Menge Holz was du da in CAO reinprügeln willst.

Hallo,

Vielen Dank für Deine Antwort. Die Lieferranten haben zu 60 % gleiche Waren aber zu unterschiedlichen Preisen. Ich würde da dann über die Hersteller Artikelnummer eine Key Zuweisung machen. Es scheint aber am Import zu liegen. Ein Insert geht schnell von statten. Aber da habe ich die Syntax des MySQL Befehl noch nicht ganz drauf

Hier in der Boardsuche habe ich auch schon gesucht, aber nicht so von Erfolg gekrönt. Hat CAO oder das Konstrukt ein Problem ab x-tausend Datensätze?

Wie macht ihr die Datenübernahme aus Preislisten heraus?

LG
Starfoxx

Moin,

der Import nutzt bei Updates den gesamten Artikelstamm, und jenachdem was man alles verknüppelt, dauert es leider lange bis das ganze durchgerannt ist. Das läßt sich zur Zeit nicht ändern, da man dazu den gesammte Import umkrempeln müßte.

uns dauerte der Import von Preislisten verschiedener Lieferanten über die integrierte Importfunktion auch irgendwann mal viel zu lange
Auf der Suche nach Alternativen sind wir auf das hier gestossen:

https://flowheater.net/de/

meiner Meinung nach einfach genial und äusserst flexibel

uns dauerte der Import von Preislisten verschiedener Lieferanten über die integrierte Importfunktion auch irgendwann mal viel zu lange
Auf der Suche nach Alternativen sind wir auf das hier gestossen:

https://flowheater.net/de/

meiner Meinung nach einfach genial und äusserst flexibel

Das ist vielleicht hilfreich wenn man sich im CAO und der Datenbank auskennt. Man darf aber nicht vergessen das CAO beim Datenimport einige Felder in der Datenbank füllt die über Berechnungen im Import gefüllt werden (z.B. Bruttopreise) also bitte mit großer Vorsicht benutzen...

uns dauerte der Import von Preislisten verschiedener Lieferanten über die integrierte Importfunktion auch irgendwann mal viel zu lange
Auf der Suche nach Alternativen sind wir auf das hier gestossen:

https://flowheater.net/de/

meiner Meinung nach einfach genial und äusserst flexibel

Das ist vielleicht hilfreich wenn man sich im CAO und der Datenbank auskennt. Man darf aber nicht vergessen das CAO beim Datenimport einige Felder in der Datenbank füllt die über Berechnungen im Import gefüllt werden (z.B. Bruttopreise) also bitte mit großer Vorsicht benutzen...

vielen Dank für den Hinweis, welchen ich leider nicht hinzugefügt habe.
Selbstverständlich sollte man tunlichst wissen, was man tut und vor allem beherzigen, was Du auch in Deiner Signatur stehen hast:

DATENSICHERUNG !!!