Große Menge Daten Vergleichen...
04.08.2015 09:14:38
Klemens
ich suche derzeit nach einer Möglichkeit eine große Menge Daten zu vergleichen.
Es geht dabei um folgendes:
In Tabelle A sind in den Spalten A-C Namen und Beschreibungen ohne eine feste Konvention eingetragen. Beispiel, Zeile 1:
Spalte A: Detroid - City SuperLight Spalte B: Detroid Supermarket Electricity Lighting Cabinet Spalte C: Detroid Supermarket
In Tabelle B sind dabei ebenfalls in Spalte A-D Namen und Beschreibungen eingetragen. Beispiel, Zeile 1:
Spalte A: Detroid - City Licht Spalte B: Detroid Supermarktelektrifizierung Spalte C: Detroid Supermarket
Ich suche nun eine Möglichkeit die Tabellen schnell zu vergleichen und herauszufinden ob es möglich ist eine Thematik aufgrund wortweisen Vergleichs Tabelle A - Datensatz 1 mit Tabelle B - alle Datensätze zu finden.
Tabelle A & B umfasst dabei ca. 15000 Zeilen bzw. Datensätze.
Ich habe es auf folgende Art und Weise versucht:
1) Einlesen der betreffenden Spalten aus Tabelle A in Array1.
2) Löschen bzw. Ersetzen von Sonderzeichen und "allgemein" vorhandenen Wörtern so dass nur noch "markante" Wörter übrig bleiben (wie Namen, Städte usw.)
3) Einzelnes, "zeilenweises" einlesen der Arrayeinträge Array1 und aufsplitten in die einzelnen Wörter, abgespeichert in neues Array2.
4) Wortweise suche aus Array2 in Tabelle B...wenn alle Wörter übereinstimmen, Zelle in der gefunden wurde grün markieren, wenn nur 80% gefunden orange wenn nur 30% gelb usw.
Leider dauert der Vergleich dabei sehr lange (ca. 4Stunden).
Ich habe weiter versucht das Ganze über SQL zu beschleunigen.
Leider reichen dabei meine Kenntnisse nicht ganz aus...
Kann mir jemand eventuell behilflich sein?
Vielen Dank!