400'000 Z, 60 S effizient auswerten

Beiträge zum Forumthread

Beiträge zu diesem Forumthread

Betreff

Datum

Anwender

Hallo Dome,
es kommt sehr darauf an, was Du mit den Daten machen willst. Im Normalfall sind solche Datenmengen wesentlich besser mit einer Datenbankanwendung zu verarbeiten. Wir arbeiten z.B. mit dem Ermittlungssystem Analyst's Workstation von IBM. Dazu gehört eine Datenbankanwendung (iBase), ein Visualisierungs Programm (Analyst's Notebook) und ein Data Mining Programm (Dataminer).
Aber selbst diese Werkzeuge stoßen manchmal an ihre Grenzen. In der Regel dann, wenn mit den Daten noch Zwischenrechnungen gemacht werden müssen. Dann nehme ich auch Excel zur Hilfe. Mit 15 Minuten Rechenzeit bist Du nach meiner Erfahrung bei Deiner Datenmenge schon ganz gut unterwegs. Selbst mit der Erweiterten Menge ist es noch im Rahmen, wenn Du 2 h auf die Rechnungen warten musst. Für eine Datenbank bräuchtest Du übrigens auch erstmal ein passendes Datenmodell.
Von der Dateigröße her (80 MB), ist das auf einer modernen Maschine absolut kein Problem. Ich nehme zwar an, dass das die Größe der xlsx auf der Festplatte ist, aber auch im Arbeitsspeicher zusammen mit Excel selbst ist da noch Luft nach oben. Die Frage ist, wieviele Zeilen hatten die 5 - 10 MB und wieviele werden es am Ende sein? Ist das ein einmaliges Projekt oder müssen die Berechnungen immer wieder mit immer mehr Daten durchgeführt werden?
Das xlsx Format komprimiert die in einer Datei liegenden Daten mit dem Algorithmus, den auch ZIP verwendet. Das kannst Du einfach sehen, wenn Du eine xlsx Datei mit der Endung .zip erweiterst. Du kannst dann reingucken und sie auch entpacken, wie jedes andere ZIP-Archiv auch. Du kannst also von der reinen Dateigröße her nicht auf die Verarbeitungsgeschwindigkeit schließen.
Damit jemand mehr zu Deinem Problem sagen kann wäre es hilfreich, wenn Du Deine Daten wenigstens beschreiben könntest und dazu schreibst, was Du mit ihnen machen willst. Also was brauchst Du für Ergebnisse? Welche Formeln verwendest Du? Am Ende wirst Du bei reinen Berechnungen ja nur Zeit sparen können, wenn die verwendeten Formeln sich noch optimieren lassen.
Viele Grüße,
Zwenn

Hi Leute,
Erstmal vielen lieben Dank für Eure Gedanken.
@harry: Ein solches Add-In ist bei unserer IT-Policy leider nicht möglich, ausserdem arbeite ich "noch" mit der Excel-Version 2007.
@Zwenn/Daniel:

Die Frage ist, wieviele Zeilen hatten die 5 - 10 MB und wieviele werden es am Ende sein? Ist das ein einmaliges Projekt oder müssen die Berechnungen immer wieder mit immer mehr Daten durchgeführt werden?

Vorhin arbeitete ich mit ca. 50'000 Zeilen.
Was möchte ich überhaupt und wie sieht mein Code aus?
Im Grundsatz eigentlich recht simpel: Eine Liste mit Verträgen (A:A) mit verschiedensten Bausteinen (B:B)(ein Vertrag kann auch mehrere Bausteine enthalten) und Eigenschaften in den Folgespalten (C:C ff.). Das ist die Quelldatei.
Der Code befindet sich in der Output-Datei und liest von dort die Daten aus der Quelldatei aus.
Ich habe eine Liste mit Bausteinen (um die Namen zu vergleichen) in der ersten Spalte. Der Code vergleicht nun Baustein für Baustein (in Output- und Quelldatei) und gibt mir die Anzahl Bausteine pro Vertrag und deren Eigenschaften zurück. Er geht in der Quelldatei also Zeile für Zeile durch.
Diese Auswertung generiere ich einmal pro Monat, also regelmässig.

Sub Datei_oeffnen() Dim sPfad As String Workbooks.Open (ThisWorkbook.Worksheets("Intro").Range("I16").Value) WbDatei1 = ThisWorkbook.Worksheets("Intro").Range("I17").Value Call Clean End Sub Sub Clean() ' Erst putzen und dann arbeiten With.. End With Call Analyse End Sub Sub Analyse WbDatei1 = ThisWorkbook.Worksheets("Intro").Range("I17").Value l_T = ThisWorkbook.Worksheets("Analyse").Cells(Rows.Count, 2).End(xlUp).Row l_B = Workbooks(WbDatei1).Worksheets("Quelle").Cells(Rows.Count, 2).End(xlUp).Row ' Alles Null setzen For i = 5 To l_T Step 1 s_b = ThisWorkbook.Worksheets("Analyse").Cells(i, 2).Value For s = 3 To l_B If Workbooks(WbDatei1).Worksheets("Quelle").Cells(s, 16).Value = s_b Then If Workbooks(WbDatei1).Worksheets("Quelle").Cells(s, 2).Value = Bausteinnr Then Else Baustein = Baustein + 1 'das geht dann für alle Eigenschaften so weiter... End If Next s ' Speichern der Werte ThisWorkbook.Worksheets("Analyse").Cells(i, 9).Value = E_1 ' Anzahl Tarife ThisWorkbook.Worksheets("Analyse").Cells(i, 10).Value = E_2 ' Anzahl innerhalb Säule 3b ThisWorkbook.Worksheets("Analyse").Cells(i, 11).Value = E_3 usw...

Beliebteste Forumthreads (12 Monate)

400'000 Z, 60 S effizient auswerten

15 Beiträge zum Forumthread Beiträge zu diesem Forumthread

VBA Beispiele zu verwandten Themen

Beliebteste Forumthreads (12 Monate)

Beliebteste Forumthreads (12 Monate)

15
Beiträge zum Forumthread

Beiträge zu diesem Forumthread