große Datenmengen - auslagern oder importieren?
29.12.2015 20:47:38
Lukas
ich arbeite für diverse Aufgaben mit größeren Datenmengen in diversen Arbeitsmappen und stoße hierbei so allmählich an einige Grenzen.
Bei den Daten handelt es sich um Messdaten. Gemessen werden Luftströme, Temperaturen, Feuchten usw. Die Daten werden mir als .csv-Dateien geliefert (tageweise) und derzeit per makro in eine einzige Arbeitsmappe in diverse Sheets importiert. Gemessen wird alle 10 Minuten; ich habe inzwischen Daten aus über einem Jahr.
Ich habe 18 verschiedene Messsensoren (also 18 Datensheets) mit je 365*24*6=52560 Zeilen (Messzeitpunkte)(pro Jahr) und jeweils 10 Spalten (diverse Messwerte). In der gleichen Arbeitsmappe befinden sich noch zahlreiche Diagramme, die die Daten anschaulich darstellen - erstellt über diverse Makros. Eine solche Arbeitsmappe über ein komplettes Jahr ist mal eben 360MB groß...
Mein Problem bei der ganzen Sache: erstellt habe ich die Arbeitsmappe als ich Daten von wenigen Wochen hatte. Mit der Zeit wurde es immer mehr und das ganze immer langsamer. Inzwischen dauert es je nach Rechnerleistung bis zu Minuten bis das ganze geöffnet ist; auf einigen PCs lässt es sich gar nicht mehr öffnen (ich nehme an aufgrund mangelnden Arbeitsspeichers).
Ich suche daher nach Verbesserungsmöglichkeiten, habe allerdings von dieser Materie wenig Ahnung. Nach etwas Online-Recherche sehe ich derzeit folgende Möglichkeiten:
-Auslagern der Dateien in eine einzige externe Arbeitsmappe
-Auslagern der Dateien in mehrere externe Arbeitsmappen
-Auslagern der Dateien in eine Datenbanken (bspw.Access (keine Vorkenntnisse))
In allen Fällen hätte ich am ende mehrere Dateien; in der Datei für den Nutzer wären nur noch Diagramme.
-alles so lassen wie es ist und Geduld haben
Der Nutzer muss am Ende eigentlich nur die Diagramme sehen und diese über Makros anpassen können (Zeitraum, Achsengrenzen usw.). Da die Diagramme öfters mal geändert werden müssen sollte der Zugriff auf die Daten möglichst schnell funktionieren; ob das ganze beim Öffnen etwas länger dauert ist nicht derart wichtig (es sollte jedoch auch auf schwachen Rechnern laufen).
Kennt sich jemand mit dieser Thematik aus und kann mir Hinweise geben auf welche Art und Weise ich das ganze optimieren kann oder in welche Richtung ich mich informieren sollte?
Wäre über Hilfe wirklich sehr dankbar!
Viele Grüße,
Lukas