Daten aus Webtabelle importieren

Beiträge zum Forumthread

Beiträge zu diesem Forumthread

Betreff

Datum

Anwender

Sub b() Dim objXMLHTTP As Object Dim html As Object Dim result As Object Dim iRow As Long Dim iCel As Long Set html = CreateObject("htmlfile") Set objXMLHTTP = CreateObject("MSXML2.XMLHTTP") objXMLHTTP.Open "GET", "https://marktdaten.fuw.ch/detail/indices?ID_NOTATION=7911158", False objXMLHTTP.send If objXMLHTTP.Status = 200 Then Application.ScreenUpdating = False html.body.innerhtml = objXMLHTTP.Responsetext Set result = html.getElementById("pricetable_410") If Not result Is Nothing Then With ActiveSheet .Cells.Clear For iRow = 0 To result.Rows.Length - 1 For iCel = 0 To result.Rows(iRow).Cells.Length - 1 .Cells(iRow + 1, iCel + 1) = result.Rows(iRow).Cells(iCel).innertext Next Next .Columns.AutoFit End With End If Application.ScreenUpdating = True End If Set objXMLHTTP = Nothing Set html = Nothing End Sub

Hallo Peter,
ich nehme an, die Google-Formel funktioniert mit der URL, weil sie JS nicht ausführt, sondern nur die statischen Inhalte verarbeitet. In dem Fall also nur die reine HTML-Datei. Wie gesagt, wenn man JS im Browser ausschaltet, wird dir auch im Browser die ganze Tabelle angezeigt. Deshalb funktioniert es auch mit xhr. Damit lassen sich nämlich auch nur statische Inhalte verarbeiten, keine dynamischen.
Ich habe Google Docs noch nie verwendet, bin mir aber sicher, dass Du mit der Formel nicht alle Torschützen mit einem Aufruf von der Kicker Seite bekommst, die Du im anderen Posting verlinkt hast. Die stehen nämlich nicht bereits alle in der HTML-Datei, sondern Du musst die Paginierung durchgehen, also jede der 12 Seiten aufrufen. (Was der Normalfall ist.) Du kannst aber jede Seite über eine eigene URL aufrufen, indem Du den Parameter für die Seitennummer verwendest. Los gehts mit Seite 1 und die zählst Du einfach hoch.
Ob das mit xhr funktioniert habe ich nicht probiert. Da würde man es einfach in einer Schleife durchlaufen lassen. Aber ich nehme an, man kann das mit PQ verwenden, wenn Du schon 20 Torschützen von Seite 1 ausgelesen hast. Die Ausgangs-URL für Seite 1 sieht so aus:
https://www.kicker.de/bundesliga/torjaeger?col=platz&order=asc&ajaxtype=goalgetterplayer&pagenr=1
Noch kurz zu xhr. Die drei Buchstaben stehen für XmlHttpRequest. Wie gesagt, können damit nur statische Inhalte abgerufen werden. Also z.B. HTML-Dateien, JSONs und anderes. Ich weiß nicht, wie tief Du im Aufbau von Webseiten drin bist. Aber eine Webseite besteht nicht nur aus einer Datei, sondern aus vielen. Eine HTML-Datei gibt es eigentlich immer. Sofern es z.B. iFrames gibt, sind es dann mehrere HTML-Dateien. Zusätzlich gibt es Dateien mit JS, CSS, JSON, Grafikdateien und weitere.
Um zu gucken, was da eigentlich alles geladen wird, kannst Du im Browser einfach auf F12 drücken und im dann unten erscheinenden Dialog den Tab Netzwerkverkehr (FireFox) oder Network (Chrome) anklicken. Lade dann eine Seite. Es werden jetzt alle Dateien aufgelistet, die zur aufgerufenen Seite gehören. In der Spalte Type kannst Du sehen, was für Dateien das sind. Also HTML, JSON, Font, usw.
Ich habe das angerissen, weil Du das brauchen wirst, wenn Du mit xhr etwas machen möchtest. Dazu gibt es aber wahnsinnig viel mehr zu erfahren. Für die ersten Schritte kannst Du Dir mal diese Seite anschauen:
https://codingislove.com/http-requests-excel-vba/
Du wirst schnell auf Probleme stoßen und deshalb weitere Fragen haben. Mit dieser wirklich sehr kurzen Einführung zu dem Thema solltest Du aber in der Lage sein, entsprechende Suchbegriffe zum Recherchieren zu finden. Es gibt sehr viele Infoquellen zu all möglich Unterthemen dazu.
Wie die abgerufenen Daten weiter verarbeitet werden können, ist nochmal ein weiteres großes Themengebiet. Dazu gebe ich Dir mal das Stichwort DOM (Document Object Model) mit auf den Weg. Dazu wirst Du vor allem Infos zu JS bekommen, weil das eben die "Browsersprache" ist. Das lässt sich aber auch alles mit VBA verwenden. Nur die Syntax ist etwas anders. Über das DOM musst Du bescheid wissen, um HTML-Dateien verarbeiten zu können. Solltest Du z.B. JSONs verarbeiten wollen, nutzt Dir das DOM nix. Dazu schreibe ich jetzt aber nix weiter.
Erste Infos zum DOM findest Du hier:
https://de.wikipedia.org/wiki/Document_Object_Model
Hier ein Link zu einer Referenz. Hier findest Du z.B. Infos zu den get-Methoden, von denen getElementByID() im Makro von Anton verwendet wird:
https://developer.mozilla.org/en-US/docs/Web/API/Element
So, ich nehme an, das ist vielleicht schon mehr, als Du wissen wolltest ;-)
Viele Grüße,
Zwenn

Hallo Peter,
also Paginierung ist ein eigenes Thema. Das liegt daran, dass es scheinbar unendlich viele Möglichkeiten gibt, diese technisch in eine Website zu integrieren. Oft reicht es, den Next Button zu suchen und "anzuklicken", solange er einen Link enthält. Manchmal geht das aber nicht, weil es keinen gibt. Oft ist es auch so, dass nur die ersten paar Seiten als Seitenzahlen mit hinterlegten Links ausgegeben werden und dann nur drei Punkte folgen. Wobei dann meistens wenisgtens noch die höchste Seitenzahl angegeben wird. Manchmal muss man auch auslesen, wieviele Suchtreffer es gibt, wenn es sich z.B. um einen Online Marktplatz handelt. Diese Anzahl teilt man dann durch die angezeigten Suchtreffer pro Seite. Bleibt ein Rest (modulo verwenden), addiert man 1. Natürlich muss man dann zusätzlich immer rausfinden, wie man den Link aufbauen muss.
Ob es für die Finanzdaten auch über die Paginierung geht? ... Wahrscheinlich schon, denn am Ende werden die Buttons zwar über ein JS generiert, müssen aber als HTML ausgeführt sein. Wie genau es mit der Seite funktionieren würde, habe ich aber nicht geprüft, weil es bereits eine bessere Lösung gibt. An dieser Stelle ein Tipp:
Oft ist es so, dass es einen URL-Parameter für die Anzahl der angezeigten Suchtreffer pro Seite gibt. Ich prüfe dann immer, ob es möglich ist eine x-beliebige Zahl einzugeben und wenn ja, ob die auch beliebig groß sein kann. Das geht mit den meisten Seiten nicht. Aber manchmal eben doch und dann kann man mitunter alle Daten mit einem einzigen Seitenaufruf bekommen, statt alle Seiten mit 20 Treffern durchzugehen, bis man alle 6589 eingesammelt hat, um ein beliebiges Beispiel zu nennen. Dir ist jetzt vielleicht nicht wirklich klar, wovon ich rede. Kommt noch.
Zu der Frage, woher ich die URL mit dem Seitenzahl-Parameter für die Kicker-Seite habe:
Ja, aus dem Netzwerkverkehr.
Ich hole mal etwas aus.
Es gibt zwei Möglichkeiten Informationen an einen Webserver zu schicken. Die eine ist POST, die andere ist GET. Die Möglichkeit über POST spare ich hier mal aus, obwohl die mitunter auch benötigt wird. Das führt für dieses Posting aber zu weit und das kannst Du im Zeifelsfall auch selbst recherchieren. Hier ist nur wichtig zu verstehen, über POST gesendete Informationen an den Webserver sieht man nicht in der URL. Die werden über den HTTP Header übergeben. (Sorry fürs Fachchinesisch, aber "wird im Hintergrund übergeben" klingt irgendwie schwammig. Was ist der "Hintergrund"?)
Wenn Du insgesamt etwas über die Technologie des "Web" erfahren möchtest, empfehle ich den folgenden MOOC (Massive Open Online Course) auf openHPI (HPI = Hasso Plattner Institut = Eine Uni in Potsdam). Die MOOCs sind kostenfrei aber hochwertig:
Web-Technologien (Im Selbststudium noch immer möglich)
https://open.hpi.de/courses/webtech2017
Was ein MOOC ist (Wikipedia)
https://de.wikipedia.org/wiki/Massive_Open_Online_Course
Zu GET schreibe ich gern etwas mehr, da es sehr häufig verwendet wird, so auch für die Kicker-Seite mit den Torschützen. Wie die es machen, dass die Parameter nicht im Browser angezeigt werden, kann ich allerdings nicht beantworten. (Hat vermutlich etwas mit AJAX zu tun, also dynamischen Inhalten, die über JS nachgeladen werden, wenn ein entsprechender Link angeklickt oder ein entsprechendes Ereignis ausgelöst wird.) Es ist aber eine GET-Anfrage an den Webserver. Woher ich das weiß später mehr. Erstmal dazu, was GET-Parameter eigentlich sind und wie man sie verwendet. Du kennst sicher folgende Form eines Links, der z.B. auf eine Amazon Suchergebnisliste zum Suchbegriff "Notebook" verweist:
https://www.amazon.de/s?k=notebook&__mk_de_DE=ÅMÅÕÑ&ref=nb_sb_noss_1
Das ist eine klassische URL mit Parameterliste. Letztere wird eingeleitet mit dem Fragezeichen (?). Jeder weitere Parameter wird mit einem Kaufmanns-Und (&) abgegrenzt:
Grund-URL: https://www.amazon.de/s
Parameter-1: k=notebook
Parameter-2: __mk_de_DE=ÅMÅÕÑ
Parameter-3: ref=nb_sb_noss_1
Der Vollständigkeit halber sei gesagt, der Parametername befindet sich vor dem Gleichheitszeichen (=), der Wert dahinter. Ich führe das deshalb aus, weil man beim Web Scraping pauschal alle Parameter weglassen kann, die keinen Wert zugewiesen bekommen haben. Die sind komplett nutzlos, verkürzen aber die URL beim Weglassen und sorgen so für eine bessere Übersichtlichkeit für uns. Man sieht auf so manchen Webseiten "leere" Parameter.
Weiterhin kann man oft "überflüssige" Parameter weglassen, die einen Wert enthalten. Welche das sind, findet man nur über das Ausprobieren aus. Für den Beispiellink heißt das, wir brauchen lediglich den Parameter-1, um genau die gleiche Seite angezeigt zu bekommen. Ich habe das schon ausprobiert ;-)
https://www.amazon.de/s?k=notebook
Anzumerken dazu ist noch, die Reihenfolge der Parameter ist völlig egal. Das ist insofern eine wichtige Info, weil alle Parameter, die wir dynamisch in unserem Makro verwalten müssen, am Ende angeordnet werden können. Das vereinfacht den Quelltext vor allem, wenn es nur einen relevanten Parameter gibt, weil dieser dann einfach als letzter angeordnet werden kann.
So, nun weißt Du schon, wie der Link der Kicker-Torschützenliste mit Parametern zu lesen ist. Der sieht ja so aus:
https://www.kicker.de/bundesliga/torjaeger?col=platz&order=asc&ajaxtype=goalgetterplayer&pagenr=1
Ich habe nicht geprüft, ob welche weggelassen werden können. Aber dass pagenr die Seitenzahl angibt dürfte jetzt offensichtlich sein. Aber woher habe ich den ganzen Link, inklusive Parameter? Wie du vermutet hast, aus dem Netzwerkverkehr, geprüft mit dem FireFox.
Wie man den Dialog aufruft, um die Dateien im Netzwerkverkehr zu sehen hatte ich schon geschrieben:
Um zu gucken, was da eigentlich alles geladen wird, kannst Du im Browser einfach auf F12 drücken und im dann unten erscheinenden Dialog den Tab Netzwerkverkehr (FireFox) oder Network (Chrome) anklicken. Lade dann eine Seite. Es werden jetzt alle Dateien aufgelistet, die zur aufgerufenen Seite gehören. In der Spalte Type kannst Du sehen, was für Dateien das sind. Also HTML, JSON, Font, usw.
Wie in vielen anderen Anwendungen auch, ist es hier möglich den angezeigten Inhalt durch einen Klick auf eine Kopfzelle aufsteigend zu sortieren. Durch einen weiteren Klick absteigend. Ein Klick auf die Kopfzelle Typ/ Type ergibt für mich in den meisten Fällen eine sinnvolle Sortierung.
Ich beschreibe das jetzt nur für den FF weiter, weil ich den verwende und es Unterschiede zu Chrome gibt. Allerdings sind es in beiden Browsern die Chrome-Werkzeuge. Klickst Du auf einen Eintrag in der Liste (FF) erscheint rechts ein weiteres Fenster mit Tabs. Klickst Du dort "Antwort" an, dann siehst Du den Inhalt der angeklickten Datei, sofern das möglich ist. Auf diese Weise lassen sich z.B. relevante JSONs ausindig machen (weiterführendes Thema). Aber auch HTML-Dateien, die brauchbar für xhr sind.
Rufst Du https://www.kicker.de/bundesliga/torjaeger auf, drückst auf F12 und sortierst nach Typ, kannst Du auch auf jeden Eintrag mit der rechten Maustaste klicken, um ein Kontextmenü aufzurufen. (Das geht natürlich auch ohne Sortierung.) In diesem Kontextmenü gibt es so einige Einträge, mit denen ich auch nix anfangen kann. Ich nutze vor allem drei davon:

Bearbeiten und erneut senden (Braucht man für POST, weil da der mitgesendete Eintrag für den HTTP-Header angezeigt wird)

Kopieren --> Antwort kopieren (Kopiert den Inhalt der Datei

Kopieren --> Adresse kopieren (Die echte Adresse der Datei

Wie Du Dir denken kannst, kommt für die Adresse mit den Parametern Punkt 3 zum tragen. Es gibt in der Liste nur eine HTML-Datei. Wenn Du dort die Adresse kopierst, hast Du genau die von mir verlinkte. Oh ne, doch nicht ;-) Fallstricke lauern überall beim Web Scraping. Du musst jetzt erst auf den Link für Seite 2 klicken und dann die richtige HTML-Datei im Netzwerkverkehr auswählen. Dazu sortierst Du die Spalte Typ am besten noch einmal bzw. zweimal für die absteigende Sortierung. Du erkennst (in diesem Fall) die richtige HTML-Datei sofort, weil der angegebene Link in der Spalte Datei "anders" aussieht, wie der von der ersten HTML-Datei.
So, noch kurz dazu, warum ich weiß, dass es eine GET-URL ist. Das siehst Du einfach in der Spalte "Methode". Für jede Datei ist entweder GET oder POST angegeben. Meistens ist es GET.
Das war jetzt einigermaßen ausführlich zu genau diesem Fall. Oft verhält es sich ganz anders. Wenn Du Dich mehr mit der Matereie Web Scraping beschäftigen solltest, entwickelst Du ein Gefühl dafür, wo Du nach was gucken musst. Das lässt sich nicht so ohne weiteres erklären.
Viele Grüße,
Zwenn

Beliebteste Forumthreads (12 Monate)

14
Beiträge zum Forumthread

Beiträge zu diesem Forumthread

304 Forumthreads zu ähnlichen Themen

Links zu Excel-Dialogen

Beliebteste Forumthreads (12 Monate)

Beliebteste Forumthreads (12 Monate)

Daten aus Webtabelle importieren

14 Beiträge zum Forumthread Beiträge zu diesem Forumthread

304 Forumthreads zu ähnlichen Themen

VBA Beispiele zu verwandten Themen

Links zu Excel-Dialogen

Beliebteste Forumthreads (12 Monate)

Beliebteste Forumthreads (12 Monate)

14
Beiträge zum Forumthread

Beiträge zu diesem Forumthread