Link in Webseite per VBA anklicken

Beiträge zum Forumthread

Beiträge zu diesem Forumthread

Betreff

Datum

Anwender

Sub AlleSpieleOeffnen() Dim browser As Object Dim knotenAst As Object Dim knoten As Object Dim url As String url = "http://www.scoresway.com/?sport=soccer&page=matches&date=2017-12-04" Set browser = CreateObject("InternetExplorer.Application") browser.Visible = True browser.Navigate url Do Until browser.ReadyState = 4: DoEvents: Loop Set knotenAst = browser.document.getElementsByClassName("group-head clickable ") If Not knotenAst Is Nothing Then For Each knoten In knotenAst knoten.getElementsByTagName("th")(0).Click Next knoten End If Set browser = Nothing Set knotenAst = Nothing Set knoten = Nothing End Sub

Sub AJAX_AlleSpieleOeffnen() Dim browser As Object Dim knotenAst As Object Dim knoten As Object Dim url As String url = "http://www.scoresway.com/?sport=soccer&page=matches&date=2018-01-09" Set browser = CreateObject("InternetExplorer.Application") browser.Visible = True browser.Navigate url Do Until browser.ReadyState = 4: DoEvents: Loop Set knotenAst = browser.document.getElementsByClassName("group-head clickable ") If Not knotenAst Is Nothing Then For Each knoten In knotenAst knoten.getElementsByTagName("th")(0).Click Do Until browser.ReadyState = 4: DoEvents: Loop Next knoten End If Set browser = Nothing Set knotenAst = Nothing Set knoten = Nothing End Sub

Hallo Zwenn,
danke für die schnelle Antwort.
Die nicht geöffneten Links enthalten wirklich Spiele. Es ist wohl so, dass diese Links sich nicht mehr öffnen lassen (auch nicht manuell) wenn der erste Versuch sie zu öffnen gescheitert ist. Es ist wohl tatsächlich ein Zeitproblem, das dahintersteckt. Hab es jetzt mal mit verschiedenen Zeitverzögerungen probiert und bei 2 Sekunden innerhalb der Schleife funktioniert es anscheinend. Das verzögert die Sache natürlich schon erheblich, aber darum geht es mir nicht in erster Linie. Sondern um die Automatisierung des Prozesses um beispielsweise die Daten für ein komplettes Jahr nach excel zu ziehen.
Meine letzte Frage wäre jetzt noch: Interpretiert der Server jedes einzelne Aufklappen als einen separaten Zugriff, da Du ja sagtest, das wären keine echten "Links". Ich frage vor dem Hintergrund dass viele Anbieter von Daten im Netz es ja nicht gerne sehen, wenn "Roboter" Daten ziehen. Und ich möchte da keine schlafenden Hunde wecken...
Auf jeden Fall nochmals vielen Dank für die Hilfe.
Gruß
Stefan

Hallo Stefan,
das ist ja interessant. Ich habe es jetzt auch mit Deinen 2 Sekunden ausprobiert und es klappt so, wie Du geschrieben hast. Offenbar wird der Browser nicht wieder in den Zustand des 'beschäftigt seins' versetzt, wenn auf diese Weise Inhalte nachgeladen werden. Das war mir bisher unbekannt. Ok, dann dauert es eben. Aber da Du Dein Vorhaben so vollständig automatisieren kannst, spielt das, wie Du schon schreibst, eine untergeordnete Rolle. Dann lass das Makro doch eine Nacht laufen, um einen größeren Datumsbereich zu bearbeiten.
Die Technologie hinter dem Nachladen nennt sich AJAX (Asynchronous JavaScript and XML). Du kennst das mit Sicherheit auch z.B. von Facebook. Wenn man dort runterscrollt, dann werden weitere Inhalte nachgeladen. Auf Deiner Fußballseite wird das Nachladen durch einen Mausklick auf bestimmte Bereiche ausgelöst, bei Facebook durch Scrollen. Das Ergebnis ist das Gleiche: Es wird eine Anfrage an den Server gestellt, der neue Daten liefert. Insofern ist jeder Click wirklich eine neue Anfrage an der Server.
Hier kannst Du mal lesen, was es mit AJAX auf sich hat:
https://wiki.selfhtml.org/wiki/JavaScript/Ajax
Zu Deiner Frage:
In der Tat mögen viele Seitenbetreiber es nicht, wenn man ihre Seiten mit solchen Automatismen durchforstet. Meine Erfahrungen sind da sehr unterschiedlich. Hier mal drei Beispiele.
Ebay:
Ebay schaltet Captchas, sobald sie feststellen, dass dauernd automatisch zugegeriffen wird. Das bedeutet für ein Makro, es läuft ins Nirvana oder steigt mit einer Fehlermeldung aus. Vor einigen Jahren lag die Grenze etwa bei 400 Zugriffen, die hintereinander weg noch gut funktioniert haben. Die Lösung für mehr Zugriffe am Stück bestand darin, nach etwa 400 Zugriffen eine Pause von 10 Minuten zu machen. Auch das lässt sich im Makro automatisieren. Nach der Pause können dann die nächsten 400 Zugriffe erfolgen, ohne dass es Probleme gibt.
Uhren Graumarktplattform:
Wir hatten mal den Auftrag, eine Seite zu beobachten, auf der Luxusuhren gehandelt werden. Die Hersteller solcher Uhren haben sogenannte Selektivverträge mit ihren Händlern. Das bedeutet, sie lassen ihre Uhren nur von ausgewählten Händlern verkaufen. Uhren, die von nicht autorisierten Händlern verkauft werden, müssen also von einem autorisierten Händler stammen, der sie aber laut Vertrag nur an Endkunden verkaufen darf und auf keinen Fall an andere Händler. Der Verkauf durch andere Händler an Endkunden ist dabei aber vom Gesetz her nicht verboten. Die haben ja keinen Vertrag mit dem Hersteller.
Ich habe für diese Plattform ein Makro geschrieben, das einige Zeit bestens lief, bis wir eines Morgens feststellten, dass uns die Plattform ausgesperrt hat. Wir stellten dann fest, dass die unsere IP gesperrt haben. Wir haben uns also eine neue IP besorgt und weiter ausgelesen. Daraufhin wurden wir wieder gesperrt und so ging es einige Zeit, bis das Projekt abgeschlossen war.
leboncoin.fr:
Leboncoin ist eine französische Kleinanzeigenplattform, wie Quoka oder Ebay Kleinanzeigen in Deutschland. Auch für diese Seite habe ich ein Makro zum Auslesen programmiert. Das läuft seit mehr als 2 Jahren, ohne dass wir von denen jemals an irgend etwas gehindert wurden. Inzwischen haben wir damit etwa 3,5 Mio. Kleinanzeigen und 7 Mio. Fotos ausgelesen. Dort suchen wir für einen Kunden nach Diebstahlware.
Was wichtig ist, wenn man sich auf diese Weise Daten besorgt ist, dass nur Daten ausgelesen werden, die öffentlich zugänglich sind. Sobald Du Dich dafür irgendwo einloggen musst, wird es schnell haarig, sofern es sich nicht um Deine persönlichen Daten handelt. Z.B. ein Mailaccount von Dir. Wenn man anfängt personenbezogene Daten fremder Leute zu sammeln (Telefonnummern, Mailadressen, usw.) bekommt man quasi sofort Probleme mit dem Datenschutz. Deshalb würde ich davon immer Abstand nehmen. Bei unserer Arbeitsweise z.B. ist das auch nicht notwendig. Wir analysieren Angebote und wenn sich ein verdächtiger Account rauskristallisiert (Hehlerware, Fakes, Markenrechtsverletzungen), wird gezielt manuell ermittelt und in vielen Fällen wird dann auch die Polizei hinzugezogen. Natürlich nur bei Händlern in gewerblichem Ausmaß.
Weiterhin ist es wichtig, wofür Du die Daten verwendest. Wenn es für Dein privates Vergnügen ist, sehe ich da keine Probleme, wenn Du Dir ein paar Fußballergebnisse auf bequeme Art und Weise besorgst. Wenn Du mit den Daten vor hast, ein ähnliches Online Angebot aufzuziehen, wird man Dir das Abziehen der Daten als Diebstahl auslegen und Dir die Nutzung untersagen und vermutlich weitere Konsequenzen folgen lassen.
Alles in allem ist man also auf der sicheren Seite, wenn man den gesunden Menschenverstand walten lässt. Wie Du an meinen drei Beispielen siehst, bekommt man allenfalls technische Hürden zu spüren. Bisher hat noch niemand bei uns 'geklingelt' und ich habe für noch mehr Seiten Makros geschrieben. Am Ende kommt es vermutlich auch darauf an, wie groß so eine Seite ist. Der Graumarkt für Uhren hatte ein paar 1.000 Angebote online, leboncoin.fr hat fast 28 Mio. Angebote laufen. Wie stark Deine Fußballseite frequentiert ist, kann ich nicht sagen. Aber mit ein paar automatisierten Zugriffen dürftest Du da im Grundrauschen der Zugriffe untergehen.
Viele Grüße,
Zwenn

Beliebteste Forumthreads (12 Monate)

Link in Webseite per VBA anklicken

6 Beiträge zum Forumthread Beiträge zu diesem Forumthread

VBA Beispiele zu verwandten Themen

Beliebteste Forumthreads (12 Monate)

Beliebteste Forumthreads (12 Monate)

6
Beiträge zum Forumthread

Beiträge zu diesem Forumthread