Web-Datenimport-Problem mit PQ ...

Beiträge zum Forumthread

Beiträge zu diesem Forumthread

Betreff

Datum

Anwender

Hi Werner
Vorweg, ich kann mittels PQ überhaupt nicht auf die Webseite zugreifen. Es kommt ein Fehler betr. Anmeldeinformationen, entsprechend kann ich auch nicht an einer Lösung tüfteln.
Als potentieller Lösungsweg hätte ich folgendes probiert:
https://datachant.com/2017/03/30/web-scraping-power-bi-excel-power-query/
https://exceleratorbi.com.au/scraping-data-from-javascript-web-sites-with-power-query/
Hauptsächlich die Variante im Link 1, wo man sich manuell durch die Dokumentenstruktur hangelt, erachte ich als vielversprechend. Die Web Query zu "trainieren" wie im zweiten Link, habe ich noch nie gemacht.
Die eigentliche Problemursache glaube ich gut nachvollziehen zu können. Wenn du den Seitenquelltext studierst stellst du fest, dass sämtlich 214 Einträge geladen wurden, jedoch werden nur 200 aufs mal angezeigt. Die Daten sind also vorhanden, weshalb sie von einem VBA-Code, welcher auf den Quellcode zugreift, gelesen werden können. Power-Query geht jedoch primär auf die Ansicht.
Das folgende Beispiel ist vielleicht ein wenig banal. Aber würde man die Nachrichten lesen, dann hätte man pro Ladevorgang immer nur eine Anzeige. Liest man hingegen den VBA Code, bekommt man die vollständigen Daten:


Public i As Integer
Sub Main()
i = i + 1
Select Case i
Case 1: MsgBox "A"
Case 2: MsgBox "B"
Case 3: MsgBox "C"
End Select
End Sub

HTML-Webseiten sind grundsätzlich statisch. Die vorliegende Webseite ist mit Java-Script gespickt, um die Anzeige dynamisch zu gestalten. Das Script wird durch den Webbrowser interpretiert.
Alternativ erreicht man Dynamik z.B. mittels PHP. Die PHP-Datei wird auf dem Server gelesen/interpretiert. Dabei wird aber nur das HTML-File mittels PHP (oder alternativer Sprache) dynamisch erzeugt, die Anzeige für den User ist trotzdem wieder statisch. Oft wird in solchen Fällen mit Parametern (?page=1, ?page=2...) gearbeitet, womit PHP anhand vom URL erkennt, welcher Datenausschnitt aufbereitet werden soll. Diesen Parameter kann man auch für PQ verwenden.
Anders ausgedrückt. Die Problemursache liegt im verwendeten Java-Script. Moderne Webseiten verwenden immer häufiger JS, was das Web-Scraping schwierig macht, hingegen die Benutzerfreundlichkeit erhöht (kein zusätzlicher Ladevorgang beim Seitenwechsel). Die Technik ist nicht zu verwechseln mit dem üblichen "Multipage" Thema, was sich mittels Parameter lösen lässt.
Fazit: Nein, es gibt keine bewusste Bremse oder Limite seitens MS, sondern es liegt an der verwendeten Technik der Webseite. Die Daten sind vorhanden, man muss nur einen Weg finden, diese mittels PQ zu lesen.
cu
Chris

Hallo Chris,
... und auch wenn Du mir keine konkreten Lösungsweg aufzeigen konntest, weiß ich zu würdigen, dass Du Dir für Deine Ausführungen viel Zeit genommen hast. Danke! Denn meine Erfahrung ist, dass man (zumindest ich) meist gerade für Erklärungen mehr Zeit benötigt, als wenn man eine Lösung ohne eine solche aufzeigen kann.
Meine Fragestellung ergab sich einfach aus Neugier, weil ich selbst keine plausible Erklärung gefunden hatte, für das was Peter zuvor in seinem von mir verlinkten thread schon festgestellt hatte und ich mich mittlerweile auch etwas für die PQ-Lösungsmöglichkeiten - die man interaktiv aufstellen kann - interessiere. Aber persönlich brauch ich momentan und wahrscheinlich auch künftig derartige Webabfragen nicht.
Meine gegenüber lupo getroffenen Aussagen waren aber offensichtlich unzutreffend und führten somit zu Recht zu Deinem Fazit.
Wobei ich allerdings nach wie vor feststelle, dass mit PQ das Ergebnis der mit "Standard-PQ" möglich Datenermittlung im Vergleich zu der von Anton und Zwenn bereitgestellten VBA-CAD schon wesentlich langsamer geschieht. Da könnte/sollte möglicherweise die PQ-Entwickler noch etwas verbessern. Und dass ich in meinem XL2016 ich die Abfragen von Charly nicht nachvollziehen kann, ist wahrscheinlich meiner älteren XL-Version geschuldet.
Wünsche Dir nun noch einen angenehmen Freitag und dann ein schönes WE
Gruß Werner
.. , - ...

Beliebteste Forumthreads (12 Monate)

Web-Datenimport-Problem mit PQ ...

14
Beiträge zum Forumthread

Beiträge zu diesem Forumthread

Links zu Excel-Dialogen

Beliebteste Forumthreads (12 Monate)

Beliebteste Forumthreads (12 Monate)

Web-Datenimport-Problem mit PQ ...

14 Beiträge zum Forumthread Beiträge zu diesem Forumthread

Links zu Excel-Dialogen

Beliebteste Forumthreads (12 Monate)

Beliebteste Forumthreads (12 Monate)

14
Beiträge zum Forumthread

Beiträge zu diesem Forumthread