VBA Web Scraping@Zwenn

Beiträge zum Forumthread

Beiträge zu diesem Forumthread

Betreff

Datum

Anwender

Hallo,
nur eine Info für alle, die nicht wissen was Scraping bedeutet:
Für was wird Web Scraping genutzt?
Web Scraping wird für eine Vielzahl von Aufgaben genutzt. So lassen sich z. B. Kontaktdaten oder spezielle Informationen schnell sammeln. Im professionellen Bereich wird oft gescraped, um im Wettbewerb Vorteile gegenüber Konkurrenten zu erlangen. Durch Daten-Harvesting kann eine Firma alle Produkte eines Konkurrenten einsehen und mit den eigenen vergleichen. Auch bei Finanzdaten bringt Web Scraping einen Mehrwert: Die Information werden von einer externen Website ausgelesen, in ein Tabellenformat übertragen und können dann analysiert und weiterverarbeitet werden.
Ein gutes Beispiel für das Web Scraping ist Google. Die Suchmaschine nutzt die Technologie, um Wetterinformationen oder Preisvergleiche von Hotels und Flügen anzuzeigen. Viele der gängigen Preisvergleichsportale nutzen ebenfalls Scraping, um Informationen von vielen verschiedenen Webseiten und Anbietern darzustellen.
Ist Web Scraping legal?
Das Scraping ist nicht immer legal, und Scraper müssen zunächst einmal die Urheberrechte einer Webseite berücksichtigen. Für manche Webshops und Anbieter hat das Web Scraping durchaus negative Konsequenzen, wenn z. B. durch Aggregatoren das Ranking einer Seite leidet. Es kommt also nicht selten vor, dass ein Unternehmen ein Vergleichsportal verklagt, um das Web Scraping zu unterbinden. In einem solchen Fall entschied allerdings das OLG Frankfurt bereits 2009, dass eine Fluggesellschaft das Scraping durch Vergleichsportale erlauben muss, weil ihre Informationen schließlich frei zugänglich seien. Die Fluglinie habe allerdings die Möglichkeit, technische Maßnahmen zu installieren, um das Scraping zu verhindern.
Das Scraping ist also dann legal, wenn die extrahierten Daten frei zugänglich für Dritte im Web stehen. Um rechtlich auf der sicheren Seite zu sein, sollte man folgendes beim Web Scraping beachten:
Das Urheberrecht einsehen und einhalten. Wenn Daten urheberrechtlich geschützt sind, dann dürfen sie nicht woanders veröffentlicht werden.
Seitenbetreiber haben ein Recht, technische Vorgänge zu installieren, die das Web Scraping zu verhindern. Diese dürfen nicht umgangen werden.
Wenn das Nutzen von Daten mit einer User-Anmeldung oder einem Nutzungsvertrag zusammenhängt, dann dürfen diese Daten nicht gescraped werden.
Das Ausblenden von Werbung, allgemeinen Nutzungsbedingungen oder Disclaimern durch Scraping-Technologie ist nicht erlaubt.
Obwohl das Scraping in vielen Fällen erlaubt ist, kann es durchaus zu destruktiven oder gar illegalen Zwecken missbraucht werden. So wird die Technologie beispielsweise oft für Spam eingesetzt. Spammer können mit ihr z. B. E-Mail-Adressen sammeln und Spam-Mails an diese Empfänger senden.
Wie kann man das Web Scraping blockieren?
Um Scraping zu blockieren, können Betreiber von Webseiten verschiedene Maßnahmen ergreifen. Die Datei robots.txt beispielsweise wird eingesetzt, um Suchmaschinen-Bots zu blockieren. Folglich verhindern sie auch das automatische Scraping durch Software-Bots. IP-Adressen von Bots können ebenfalls gesperrt werden. Kontaktdaten und persönliche Informationen lassen sich gezielt verstecken. Sensible Daten wie Telefonnummern kann man außerdem in Bildform oder als CSS hinterlegen, was das Scrapen der Daten erschwert. Außerdem gibt es zahlreiche kostenpflichtige Anbieter von Anti-Bot-Services, die eine Firewall einrichten können.

Hallo Franziska,
einiges in Deinem Text kann ich unterschreiben, anderes nicht und wieder anderes finde ich zu pauschal ausgeführt. Magst Du kurz erklären, was Deine Motivation war, Deine Antwort zu posten?
Ich gehe davon aus, dass Du diesen Text nicht erst auf den Beitrag von Johannes hin entworfen hast. Das mache ich an der "Veröffentlichungs-Geschwindigkeit" fest. 24 Minuten nach Johannes Thread Eröffnung. Persönlich brauche ich für Texte solcher Länge mit sachlichem Inhalt wesentlich länger.
Ich finde Deinen Beitrag auch insofern interessant, als dass es zur Sicht auf den rechtlichen Aspekt quasi keine Diskussion gibt. Ich bin kein Jurist, habe aber natürlich im Zuge meiner Tätigkeit das Ein oder Andere zu den von Dir angesprochenen Knackpunkten mitbekommen.
Viele Grüße,
Zwenn

Beliebteste Forumthreads (12 Monate)

3
Beiträge zum Forumthread

Beiträge zu diesem Forumthread

222 Forumthreads zu ähnlichen Themen

Beliebteste Forumthreads (12 Monate)

Beliebteste Forumthreads (12 Monate)

VBA Web Scraping@Zwenn

3 Beiträge zum Forumthread Beiträge zu diesem Forumthread

222 Forumthreads zu ähnlichen Themen

Beliebteste Forumthreads (12 Monate)

Beliebteste Forumthreads (12 Monate)

3
Beiträge zum Forumthread

Beiträge zu diesem Forumthread