Wie kann ich. csv Daten/hyperlinks downloaden

Michi · 2024-09-03T22:37:56+00:00

Guten Abend zusammen Bin ganz ganz neu hier :-) Habe viele Leute schon nach hilfe gefragt zu meinem Problem, niemand wusste eine Lösung.. Folgendes Problem habe ich zu bewältigen: Habe auf einer Schweizer Seite Höhendatenkarten runter geladen. Damit ich nicht alle Quadrate einzeln muss, habe ich das ganze Land ausgewählt und wurde dann als .csv Datei bereit gestellt. Jetzt habe ich eine Excel Tabelle mit 43260 "inaktiven" Links. Muss jeder Link mit doppelklick aktivieren (Hyperlink) und dann mit weiterem doppelklick, kann ich dann die Datei downloaden. Bei 43260 Links geht das eine ewigkeit. Gibt es eine Möglichkeit, alle Links gleichzeitig zu "aktivieren/hyperlinks" und zu Downloaden? Liebe Grüsse Michi

Hallo Michi,

die Fehlermeldung taucht wohl auf, wenn noch ein Makro läuft. Keine Ahnung was da bei Dir los ist. Ich habe das mit den 43.000 URLs ausprobiert und es läuft ohne zu zicken durch (Office 365). Nun hast Du angegeben kaum Excel/ VBA Kenntnisse zu haben. Ich weiß also nicht, was Du gemacht hast, um das Makro "in Betrieb" zu nehmen und es auszuführen. Das ist aber auch erst einmal egal. Denn wie ich schon geschrieben habe, ist das direkte Anklicken nicht notwendig, um Dateien automatisiert runterzuladen. Soweit ich es jetzt geprüft habe, macht das auch gar keinen Sinn.

So, an dieser Stelle zunächst einmal ... Was für ein unfassbar geiler Geo-Datensatz! Das ist echt der Vollhammer. Die Schweiz runter bis zu 0,5 m Schritten für das gesamte Höhenprofil ohne Bewuchs. HAMMER!.

Ich habe erst einmal rausfinden müssen, was es mit den TIF und vor allem XYZ Dateien auf sich hat. TIF ist klar, das sind Bilder, mit denen man in der Menge aber nicht viel anfangen kann. Mit 2 m Raster haben die 500x500 Pixel, mit 0,5 m Raster haben die 2.000x2.000 Pixel. Bei etwas über 43.000 Bildern ergibt das eine irrsinnig große Fläche. Ok, kann man vermutlich auch automatisiert weiter verarbeiten, wenn man weiß, was die einzelnen Kacheln abbilden.

Aber ich gehe davon aus, Du benötigst die XYZ Dateien, von denen ich dann auch heraus gefunden habe, dass das die Achsen im (Geo-)Raum sind, als ich die Beispieldatensätze gefunden hatte. Das sind einfach Textdateien, die aber bei "Ganzer Datensatz" im Download nach dem Entpacken des jeweiligen ZIP Archivs fast 120 MB haben. Die ganze Schweiz in 0,5 m Messpunkten. Wie gesagt, ein Hammer. Ich gehe davon aus, auf diese Daten hast Du es abgesehen. Darf ich erfahren, was Du damit vor hast?

Die Frage, die ich eigentlich in diesem Posting stellen will:
Brauchst Du die XYZ Dateien? Weil die nur als ZIP Archiv runtergeladen werden können, macht es dann Sinn, das jeweilige Archiv sofort nach dem Download zu entpacken. Oder hast Du dafür bereits eine andere Lösung zur Weiterverarbeitung? Ich müsste mich sonst drum kümmern, dass die Dateien Ent-ZIPt werden. Sonst hast Du nämlich das gleiche Problem wie vorher. 43.000 Dateien auf der Platte, mit denen Du als ZIP nix anfangen kannst.

Anschlussfrage falls Du die ZIPs für die XYZ-Dateien brauchst:
Arbeitest Du privat und kannst Software installieren wie Du lustig bist oder bist Du durch Admins im Büro (zu Recht) reglementiert? Lösungen zum Entzippen sollten eigentlich auch mit Windows-Eigenen Mitteln möglich sein, aber ich habe vor allem welche für das Programm 7zip gefunden. Im Zweifelsfall müsstest Du das installieren können. Ansonsten muss ich "weiter forschen".

Das sind meine Fragen, bevor ich überhaupt getestet habe, ob sich die Dateien überhaupt automatisiert runterladen lassen ;-) Aber ich finde den Datensatz so unfassbar cool.

Viele Grüße,

Zwenn

Hallo Michi,

vermutlich hast Du schon mehrfach hier reingeschaut. Leider habe ich erst heute Zeit gefunden das Makro für den Download der TIFs für Dich fertig zu stellen. Es funktioniert gut, wird aber Zeit brauchen. Ich habe einige Tests angestellt, um den benötigten Speicherplatz und die benötigte Zeit grob abzuschätzen. Ich habe 1.500 TIFs runtergeladen. Pro Bild wurden im Durchschnitt 9,42 MB Speicherplatz benötigt. Hochgrechnet auf die 43.630 Bilder ergibt das einen Bedarf von etwa 400 GB. Das ist im Endeffekt nur eine Schätzung, weil ich nicht weiß wie groß die größten Dateien sind und in welcher Anzahl sie im späteren Verlauf auftauchen werden.

Da ich die ersten 300 Bilder in meinen Tests öfter runtergeladen habe, waren diese zum Schluss immer sehr schnell auf der Platte, weil die vermutlich in irgend einem Cache bereits zur Verfügung standen. Deshalb habe ich die Zeitabschätzung auf die letzten 1.000 runtergeladenen Bilder bezogen. Dafür wurden mit einer 50 MBit/s Leitung etwa 40 Mnuten benötigt. Das sind pro Bild im Durchnitt etwa 2,4 Sekunden. Auf 43.630 Bilder hochgerechnet liegt der Zeitbedarf damit bei etwa 29 Stunden. Wie bereits oben zum Speicherplatz erwähnt, ist der echte Zeitbedarf davon abhängig, ob die Dateien in etwa gleich groß bleiben oder ob es starke Schwankungen gibt.

Ich habe Dir die Verzeichnisstruktur des kleinen Projektes zum Download in ein ZIP-Archiv gepackt, das Du durch Klicken auf den Link unten aus meiner Dropbox runterladen kannst. Entpacke das Archiv auf Deinem Rechner auf einem Laufwerk, auf dem genug Seicherplatz vorhanden ist. Ich würde zur Sicherheit mit 500 GB rechnen. Im Verzeichnis SchweizHoehenprofilTIFs findest Du zwei weitere Verzeichnisse. OriginalCSVs, in dem die beiden CSVs für die TIF und die XYZ Links liegen. Die habe ich nur der Vollständigkeit halber mit abgespeichert. Weiterhin gibt es das Verzeichnis TIFs. Dieses ist leer, es wird für die Downloads der TIFs verwendet. Das Makro verwendet die Verzeichnisse automatisch, egal wo Du das ZIP-Archiv entpackst.

Schließlich findest Du noch die Datei ch.swisstopo.swissalti3d-3IFBDlTL.xlsm. Das xlsm am Ende steht für das Dateiformat, in dem Excel auch Makros speichern kann. In CSVs geht das nicht, weil das reine Textdateien sind, die gar nix mit Excel zu tun haben. Darin können auch keine Formatierungen oder anklickbare Links gespeichert werden. Du öffnest die Datei, in der Du nur eine Tabelle findest, die genau so heißt, wie die Datei, nur ohne Dateiendung. Das ist der Name der verwendeten CSV-Datei. Ich habe ihn für die evtl. spätere Zuordnung so belassen.

In Spalte A sind alle anklickbaren Links zu den TIFs abgelegt. Wie schon geschrieben, ist das mit dem Anklickbar nicht notwendig, damit das Makro funktioniert. Denn das Makro klickt nix. Ich habe das nur so gemacht, weil Du es gerne wolltest. In Spalte B wird der Erfolg eines Downloads hinterlegt. Dabei bedeutet runtergeladen, dass die Datei erfolgreich gespeichert wurde und fehlgeschlagen, dass der Download nicht geklappt hat.

Bei solchen automatisierten Downloads ist die Unbekannte immer, dass man die Reaktion des angesprochenen Servers nicht kennt. Ich konnte erfolgreich 1.500 Bilder am Stück runterladen. Es kann aber sein, dass der Server irgendwann sagt, Jetzt reichts mein Freund, und Deine IP sperrt oder sonstige Schutzmaßnahmen auslöst, wie z.B. Captchas schalten (was Du nicht sehen könntest, weil kein Browser verwendet wird). Dann wird das Makro stehen bleiben oder nur noch fehlgeschlagen ausgeben. Tritt dieser Zustand ein, kannst Du das Makro durch halten der ESC-Taste unterbrechen. Das funktioniert vermutlich nicht, wenn es sich aufgehängt hat. Dann musst Du Excel über den Taskmanager aus dem Speicher kicken.

Zur Sichtkontrolle habe ich dafür gesorgt, dass die Tabelle während des Makrolaufs mitscrollt. Du weißt also zu jeder Zeit genau, wo Du gerade stehst. Wenn mal ein paar Minuten scheinbar nix passiert, unterbrich das Makro nicht direkt. Das hatte ich bei meinen Tests auch. Das können Verbindungsprobleme im Hintergrund sein oder sonst was, weil der Rechner sich um andere Dinge kümmert. Es ist durch diesen Mechanismus egal an welche Stelle die Tabelle beim Start des Makros gescrollt ist, als aller erstes wird die richtige Zelle angesprungen, wodurch Du immer automatisch die richtige Zeile sehen wirst.

Um im Fall einer harten Unterbrechung, ohne die Möglichkeit den aktuellen Stand zu sichern, den Fortschritt in Spalte B zu erhalten, wird die Arbeitsmappe automatisch nach jedem 100sten Download gespeichert. Es gehen also maximal 99 Einträge in Spalte B verloren, was sehr überschaubar ist bei über 43.000 Downloads. Warum ist das wichtig? Weil ich eine weitere Maßnahme eingebaut habe, die Dir das Leben erleichtert. Sollte es zu Komplikationen kommen und Du musst die Arbeitsmappe schließen oder Du willst den PC runterfahren, weil Du ihn nicht durchlaufen lassen willst/ kannst, bis alles fertig ist, kannst Du die Arbeitsmappe einfach wieder öffnen wann Du willst und auf den Button Starten/ Weiter oben links in der Kopfzeile klicken. Die Downloads gehen dann an der Stelle weiter, an der das Makro unterbrochen wurde (letzter Speicherstand). Dazu "guckt" das Makro nach, ob in der jeweiligen aktuellen Zeile in Spalte B das Wort "runtergeladen" eingetratgen ist oder nicht. Ist es eingetragen wird die Zeile übersprungen, wenn nicht, dann wird der Download vorgenommen.

Den Start/ Weiter Button habe ich nun schon erwähnt. Du brauchst also nix anderes, als die reine Tabelle, um alles bewerkstelligen zu können, was Du für die Downloads brauchst. Sollte der Server irgendwann Downloads verweigern, kann es sein, dass es erst nach einiger Zeit wieder geht. Das können 10 Minuten sein oder einige Stunden. Im Zweifelsfall versuche erst nächsten Tag weiter zu machen und (falls möglich) eine neue IP-Adresse zu beziehen.

Ich habe mir einige der TIFs angesehen und viele davon sind einfach weiß. Aber die Speichergröße schwankt erheblich zwischen ein paar 100 KB und fast 20 MB. Ich nehme an, da liegen "irgendwie" die Höhenprofildaten drin, mit denen Du etwas für Dein Simulationsprojekt anfangen kannst. Als Grundlage habe ich die CSV mit der Auflösung von 0,5 m genommen. Wenn Du die mit 2 m willst, kannst Du die Links in Spalte A einfach löschen und die Links aus der anderen 2 m CSV einfügen (die müsstest Du noch selber runterladen). Dann fehlt zwar das "Anklickbare", aber wie nun schon mehrfach geschrieben, für das Makro ist das egal.

Ich hoffe das alles klappt. Hier noch der Link auf den Download in der Dropbox:
https://www.dropbox.com/scl/fi/ci7qbrt72vu9395qn44hc/SchweizHoehenprofilTIFs.zip?rlkey=08mk0ro0so68ife79u4j61lbx&dl=0

Viele Grüße,

Zwenn

Wie kann ich. csv Daten/hyperlinks downloaden

Forumthread: Wie kann ich. csv Daten/hyperlinks downloaden

13
Beiträge zum Forumthread

Beiträge zu diesem Forumthread

Beliebteste Forumthreads (12 Monate)

Wie kann ich. csv Daten/hyperlinks downloaden

Forumthread: Wie kann ich. csv Daten/hyperlinks downloaden

13 Beiträge zum Forumthread Beiträge zu diesem Forumthread

VBA Beispiele zu diesem und ähnlichen Themen

Beliebteste Forumthreads (12 Monate)

13
Beiträge zum Forumthread

Beiträge zu diesem Forumthread