Webseite fernsteuern

Beiträge zum Forumthread

Beiträge zu diesem Forumthread

Betreff

Datum

Anwender

Hallo Ronald,
PS: Man muß also eigentlich nur das Window-Handle rausfinden und könnte das mit API umsetzen.
Sehe ich das falsch?
Mit der API kannst Du Dein Anliegen m.E. nicht umsetzen. Die Web-Site besitzt ein Handle mit dem Du die Site in Gänze, (Größe, Position, Vordergrund etc.) manipulieren kannst und auch die paar Controls wie z.B. die Editbox zur Eingabe der Url.
Ansonsten hat der gesamte body, in dem sich nun die HTML-Elemente befinden, nur ein Handle. Dies HTML-Elemente sind keine Windows-Fenster und können daher mit den API-Funktionen nicht bestimmt und angesprochen werden.
Bislang steuer(t)e ich solche Anwendungen über den IE, der entsprechende Funktionalitäten bereithält...
Oder man möchte nur eine festgelegte Ablaufsteuerung durchführen, die z.B. mit simulierten Mausclicks (API Mouseevent) an bestimmten Stellen durchgeführt werden kann. Da kann aber nichts ausgelesen werden.
viele Grüße
Karl-Heinz

Hallo Ronald,
der van Yal gepostete Lösungsansatz sieht für mich auf den ersten Blick brauchbar aus. Da Du wiederholt das Handle des IE erwähnst, musst Du die Seite schon manuell aufgerufen haben, bevor Du automatisiert darauf zugreifst? Das glaube ich eher nicht und deshalb brauchst Du das Handle eigentlich gar nicht, zumal man den IE auch anders "einfangen" kann. Aber ich kenne Deinen genauen Anwendungsfall natürlich nicht.
Sollte Deine Seite noch im IE laufen, kannst Du ihn vermutlich noch für Dein Anliegen verwenden. Davon rate ich allerdings ab, denn im IE werden schon heute immer mehr Seiten nicht angezeigt oder laufen nicht mehr richtig. Das geht hin bis zur Verweigerung der Seitenöffnung und automatischem Aufruf des Edge Browsers. Beispiel: https://www.leboncoin.fr/
Ab Juni 2022 wird der IE dann komplett "abgeschaltet" bzw. nicht mehr mitinstalliert. Deshalb ist es ratsam sämtliche Web Scraping Aufgaben schon jetzt abseits des IE zu programmieren. VBA ist dafür ganz sicher nicht die beste und nicht die einfachste Möglichkeit. Allerdings verwende ich "das alte Schlachtross" dafür auch noch immer.
Du hast zwei Möglichkeiten, wenn Du "from Scratch" programmieren willst. Entweder xhr (XML HTTP Request) oder Selnium (für VBS SeleniumBasic).
Mit xhr kannst Du nur Inhalte verarbeiten, die statisch sind, denn es wird kein JS ausgeführt. Heutzutage arbeiten die meisten Seiten zwar mit dynamischen Inhalten, aber bei einem Seitenaufruf werden mehrere Einzeldateien geladen. Darunter HTML-Dateien (in denen man schon oft findet, was man braucht) oder andere brauchbare Formate, wie JSON oder XML. Teilweise gibt es auch einfache Textdateien, die eigene Formate aufweisen.
Das Arbeiten mit xhr ist eher nix für Einsteiger in die Materie des Web Scraping. Unter anderem muss man wissen, ob man eine GET oder eine POST Anfrage an den WebServer stellen muss. Für POST dann zusätzlich, welchen Payload man mit übergeben muss. Der Payload kann unterschiedliche Informationen haben, die der WebServer zur korrekten Verarbeitung der Anfrage benötigt. Vergleichbar ist das mit der Parameterliste einer URL, die mit GET Aufrufen für den gleichen Zweck übergeben wird.
Hier ist ein Beispiel für den Einsatz von xhr für die Verarbeitung mit so einem eigenen Format. Die VBA Scripte oben im Thread sind Anwendungsbeispiele. Weiter unten sind zwei Dateien verlinkt. die zweite ist eine korrigierte Version der ersten und enthält die ganze Lösung der Anfrage des Thred Erstellers:
https://www.herber.de/forum/cgi-bin/callthread.pl?index=1833060
Hier ist ein Thread, in dem auch einiges erklärt wird, was zum Teil eher allgemeiner Natur ist. Das Script von Anton enthält ebenfalls eine Lösung mit xhr:
https://www.herber.de/forum/cgi-bin/callthread.pl?index=1825794
Selenium hingegen ist ein Framework, welches zur Testautomatisierung von Webseiten entwickelt wurde. Da es aber die komplette Fernsteuerung von Browsern beherrscht, ist es natürlich auch für Web Scraping einsetzbar. Selenium gibt es für unterschiedliche Programmiersprachen. VBA ist da von Haus aus nicht bei, aber jemand hat für VBA mal SeleniumBasic entwickelt.
Dazu, wie SeleniumBasic installiert werden muss und wie man die Installation testen kann, habe ich vor einiger Zeit hier etwas geschrieben:
https://www.herber.de/forum/cgi-bin/callthread.pl?index=1831729#1831851
Unterm Strich ist es so, dass Web Scraping mit VBA Bibliotheken verwendet, die MS entweder mitbringt (xhr) oder die man selbst installieren muss (SeleniumBasic). Entsprechend müssen beide entweder als Verweise eingebunden werden (early binding) oder über ihre Objektklassen referenziert werden (late binding). Das Anwenden beider Lösungen hat also mit VBA erstmal eigentlich gar nix zu tun. VBA musst Du also obendrein können.
Hinzu kommt noch der Hinweis von Hansueli, dass Webseitenbetreiber zunehmend Abwehrmaßnahmen installieren. Es gibt inzwischen eigene Untzernehmen als Dienstleister, die sich darauf spezialisiert haben Web Scraping zu erkennen und zu unterbinden (https://datadome.co/de). Natürlich gibt es auch dafür "Gegenlösungen", die dann aber Geld kosten (auch als Dienstleistung) oder sehr viel Wissen für eigene Implementierungen voraussetzen (z.B. die Verwendung von Proxy Pools).
Vor dem Hintergrund dieses Postings und dem "geringen" Umfang Deines Anliegens (soweit ich es überblicke), solltest Du vielleicht noch einmal einen Blick auf eine Excel-eigene Lösung wie PQ werfen. Für eine Beurteilung der Machbarkeit müssten wir die Seite kennen, um die es geht. Du müsstest also die URL posten.
Viele Grüße,
Zwenn

Beliebteste Forumthreads (12 Monate)

8
Beiträge zum Forumthread

Beiträge zu diesem Forumthread

Links zu Excel-Dialogen

Beliebteste Forumthreads (12 Monate)

Beliebteste Forumthreads (12 Monate)

Webseite fernsteuern

8 Beiträge zum Forumthread Beiträge zu diesem Forumthread

VBA Beispiele zu verwandten Themen

Links zu Excel-Dialogen

Beliebteste Forumthreads (12 Monate)

Beliebteste Forumthreads (12 Monate)

8
Beiträge zum Forumthread

Beiträge zu diesem Forumthread