Download des Inhalts einer Internetseite

Beiträge zum Forumthread

Beiträge zu diesem Forumthread

Betreff

Datum

Anwender

Sub GetHTML() Dim ie As Object Dim url As String url = "https://www.offiziellecharts.de/titel-details-2145979" 'Initialize Internet Explorer, set visibility, 'call URL and wait until page is fully loaded ie = CreateObject("InternetExplorer.Application") ie.Visible = True ie.navigate url Do Until ie.readyState = 4: DoEvents: Loop 'Wait to load dynamic content after IE reports it's ready Application.Wait (Now + TimeSerial(0, 0, 5)) Debug.Print ie.document.getElementsByTagName("html")(0).outerHTML ie.Quit End Sub

Hallo Peter,
bei mir funktioniert die Seite noch im IE11. Allerdings arbeite ich unter Windows 10. Ob es aber OS bedingte Unterschiede des IE gibt kann ich nicht sagen. Ist ja eigentlich die gleiche Version. Ich kann übrigens auch Deinen in der Excel-Tabelle hinterlegten Link anklicken und er wird ganz normal im Standardbrowser geöffnet. Bei mir im FireFox.
Das Set habe ich vergessen wieder hinzuschreiben. Sorry :-) Ich hatte den Code kurz mit With createObject... ausprobieren wollen, um eine Variablendeklaration "einzusparen". Habe dass dann aber bleiben lassen und die Zeile (falsch) zurück geändert. Unterm Strich ging es mir darum, Dir die Sache mit der notwendigen Pause näher zu bringen. Aber wenn das kleine Beispiel bei Dir gar nicht läuft, ist das natürlich einigermaßen sinnfrei. Auf das DOM der Seite kannst Du auch erst zugreifen, wenn die Seite geladen ist, das stimmt. Der Hintergrund ist, dass es einen Baum (Datenstruktur) des HTML-Dokumentes gibt, auf den man gezielt zugreifen kann, der aber logischerweise für jede Seite individuell ist:
https://de.wikipedia.org/wiki/Document_Object_Model
Für viele Seiten kann man den Ansatz über xhr (XML HTTP Request) gehen. Damit ist man den IE los. Leider habe ich im Netzwerkverkehr der Seite keine Datei gefunden, die die Seitendaten direkt enhält. Mitunter findet man das Gesuchte einfach in der Haupt-HTML-Datei, in einer anderen HTML-Datei oder auch einem JSON. Für die vorliegende Seite scheint mir der Inhalt über JavaScript generiert zu werden. Es gibt so einige Dateien, die von YouTube, Spotify und Facebook sind. Das ist alles "eingebetteter Kram" sozusagen. Zu xhr ist vor allem anzumerken. dass ausschließlich statische Inhalte geladen werden. Es wird also nix nachgeladen, weil JS nicht ausgeführt wird. Somit sind auch AJAX Inhalte damit nicht zu bekommen, außer sie liegen bereits in einem JSON oder so vor.
Um trotzdem mit einem Browser arbeiten zu können, kannst Du SeleniumBasic bzw. den SeleniumWrapper für VBA verwenden. Was die Unterschiede sind bzw. ob es welche gibt, kann ich Dir leider nicht beantworten. Beide Lösungen werden seit geraumer Zeit nicht mehr weiter entwickelt soweit ich weiß. Sie funktionieren aber nach wie vor mit aktuellen Browsern und den zugehörigen aktuellen WebDrivern dafür. Selbst habe ich bisher erst ein paar Gehversuche mit SeleniumBasic unternommen und dafür den Chrome Browser verwendet.
Selenium ist ein Browser Automatisierungsprojekt, welches eigentlich zum automatisierten Testen von Webpages für Entwickler gedacht ist. Aber natürlich kann es auch zum Scrapen verwendet werden. Selenium bringt allerdings eigene Befehle mit. Vom Prinzip her funktioniert es, wie die Anwendung des DOM für den IE. Aber es wird anders aufgeschrieben und bietet wohl auch noch andere Möglichkeiten. Z.B. die Erstellung von Screenshots. Wie gesagt, da stecke ich selber noch in den Anfängen. Hier kannst Du Dich über Selenium selbst informieren. Dort findest Du aber keine Möglichkeit für die Verwendung mit VBA (soweit ich es gesehen habe). Wie Du es mit VBA verwenden kannst, beschreibe ich nach den folgenden beiden Links:
https://de.wikipedia.org/wiki/Selenium
https://www.selenium.dev/
Der einzige Browser, der sich direkt aus VBA heraus steuern lässt, ist der IE. Das ist nämlich der einzige, der von Haus aus eine COM Schnittstelle mitbringt:
https://de.wikipedia.org/wiki/Component_Object_Model
Die folgenden Schritte musst Du durchführen, um Das Dreigespann SeleniumBasic, Chrome und Chrome WebDriver mit VBA zum Laufen zu bringen:

SeleniumBasic runterladen und installieren: https://florentbr.github.io/SeleniumBasic/

Falls nicht vorhanden, die aktuelle Chrome Version runterladen und installieren: https://www.google.com/intl/de_de/chrome/

WebDriver für Chrome runterladen: https://sites.google.com/a/chromium.org/chromedriver/downloads
Achtung: Es muss zwingend die Version sein, die zur installierten Chrome Browser Version identisch ist. (Aktuell 90)
Entzippe das Archiv chromedriver_win32.zip und kopiere den WebDriver chromedriver.exe an die richtige Stelle. Dafür gibt es zwei Möglichkeiten:
1. C:\Program Files\SeleniumBasic
2. C:\Users\%username%\AppData\Local\SeleniumBasic

Öffne die VBA IDE in Excel und setze den Verweis auf Selenium Type Library
Extras -> Verweise... -> Selenium Type Library
Es gibt sicher auch eine Möglichkeit für Late Binding, aber mit dem Verweis hat man erstmal die Möglichkeit sich über den Object Explorer (F2 in der IDE) eine Übersicht der Möglichkeiten zu verschaffen. Beim Entwickeln selbst steht dann auch erstmal IntelliSense zur Verfügung. An dieser Stelle sei angemerkt, dass die Möglichkeiten von SeleniumBasic gegenüber den Versionen für andere Programmiersprachen wohl ziemlich eingeschränkt ist. Naja, das Basic muss ja irgendwo herkommen ;-) Ob das mit SeleniumWrapper anders ist weiß ich (noch) nicht. Link zum Download weiter unten. Testen musst Du dann ggf. selbst.

Kopiere folgendes Makro und führe es aus.


Sub ErsteH1Auslesen()
Dim bot As New WebDriver
'URL aufrufen
bot.Start "chrome", "https://www.offiziellecharts.de/titel-details-2145979"
'Ohne die folgende Zeile wird die Seite nicht geladen
'Keine Ahnung warum, aber mit klappt es,
'auch ohne manuell programmierte Pause
bot.Get "/"
'Es sollte eine MessageBox mit der ersten gefundenen Überschrift
'im Tag h1 angezeigt werden: NATHAN EVANS
MsgBox bot.FindElementByTag("h1").Text
End Sub

Hier ist noch der Link zu SeleniumWrapper. Ob es da mehr Möglichkeiten gibt oder ob die Einrichtung anders läuft, als für SeleniumBasic, kann ich nicht sagen. Das beginnt schon mit dem Ort, an den der WebDriver hingehört. Kann man aber sicher alles recherchieren:
https://code.google.com/archive/p/selenium-vba/downloads
Was mit SeleniumBasic übrigens Out Of The Box läuft, ist der PhantomJSDriver. Keine Ahnung warum. Das ist insofern interessant, weil das ein HeadlessBrowser ist. Der hat also keine GUI, rendert aber die Seiten und kann auch mit dynamischem Inhalt umgehen. Das weiß ich, weil ich damit die Aufnahme von Screenshots einer ganzen Seite getestet habe. Unter SeleniumBasic wird mit der Screenshot Methode leider nur der Sichtbare Teil als Grafik erfasst. Tja, wo nix sichtbares ist, da gibts auch keine Scrollbalken. Für wen denn? ;-) Also gibts mit der gleichen Methode die ganze Seite als Grafik (Ok, die Methoden sind für jeden WebDriver individuell vorhanden (siehe ObjectExplorer), aber identisch vom Umfang her, soweit ich gesehen habe.
Das folgende Beispiel setzt einen Screenshot in die Excel-Tabelle in B2 (ohne YT-Vorschaubild):


Sub DemoPhantomJSDriver()
Dim bot As Selenium.PhantomJSDriver
Dim transfer As Object
Set bot = New Selenium.PhantomJSDriver
'Hier habe ich mit dem setzen eines UserAgent getestet
'Kann wichtig sein, wenn "ohne Agent" von einer Seite abgelehnt wird
bot.AddArgument "I am a unicorn" '"user-agent=Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko"
bot.Get "https://www.offiziellecharts.de/titel-details-2145979"
bot.Window.Maximize
Set transfer = bot.TakeScreenshot
transfer.ToExcel Range("B2")
End Sub

So, ich hoffe das hilft Dir weiter. Auch wenn es ein komplett neues Feld aufmacht.
Viele Grüße,
Zwenn

Hallo Anton,
danke für dein Code-Beispiel. Und auch das funktioniert nicht!
Beim Abarbeiten des Befehls "objXMLHTTP.send"kommt die Fehlermeldung:
"Laufzeitfehler '-2146697211 (800c00005)': Die angegebene Resource konnte nicht gefunden werden".
(Mit der Zeile "objXMLHTTP.Open "GET", "https://www.herber.de/forum/" title="Auf der Suche nach einer Lösung für deine Excel-Probleme? Dann bist du beim Excel-Forum xlforum.herber.de genau richtig! Unser Forum bietet dir eine breite Palette an Expertenwissen, Tipps und Tricks rund um das Thema Excel. Egal, ob du ein Anfänger bist oder bereits Erfahrung hast, unsere Community steht dir jederzeit mit Rat und Tat zur Seite. Du möchtest mehr über die neuesten Excel-Features erfahren? Oder brauchst du Hilfe bei der Erstellung komplexer Formeln? Kein Problem! In unserem Forum findest du eine Vielzahl von Beiträgen, die dir dabei helfen, deine Excel-Kenntnisse zu verbessern. Und das Beste: Das Excel-Forum xlforum.herber.de ist komplett kostenlos! Melde dich noch heute an und werde Teil unserer wachsenden Community von Excel-Enthusiasten. Wir freuen uns darauf, dich kennenzulernen und dir dabei zu helfen, das Beste aus Excel herauszuholen!">" davor, funktioniert es dagegen einwandfrei!)
Ich denke auch in deinem Code wird wieder auf den Internetexplorer (v11.0.9600.19596) in meiner Windows 7- Installation zurückgegriffen. Und der kann diese URL einfach nicht "parsen"! (Kommt leere Antwort).
Ich hatte heute den ganzen Vormittag versucht, meinen IE upzudaten (geht nicht, ist die letzte Version von 2016) oder Einstellungen zu verändern (Alle Sicherheitsdinge ausgeschaltet, ...)
Nichts hat geholfen. Scheinbar geht das nicht in Window 7... Hmmm.
Die "Kanonen auf Spatzen" von Zwenn gehen im Moment deutlich über meinen Horizont... Seuftz...
Danke, für Eure Versuche. Muss wohl einen neuen PC (Windows 10!) kaufen :--)

Beliebteste Forumthreads (12 Monate)

Download des Inhalts einer Internetseite

10
Beiträge zum Forumthread

Beiträge zu diesem Forumthread

20 Forumthreads zu ähnlichen Themen

Links zu Excel-Dialogen

Beliebteste Forumthreads (12 Monate)

Beliebteste Forumthreads (12 Monate)

Download des Inhalts einer Internetseite

10 Beiträge zum Forumthread Beiträge zu diesem Forumthread

20 Forumthreads zu ähnlichen Themen

VBA Beispiele zu verwandten Themen

Links zu Excel-Dialogen

Beliebteste Forumthreads (12 Monate)

Beliebteste Forumthreads (12 Monate)

10
Beiträge zum Forumthread

Beiträge zu diesem Forumthread