Effiziente Dublettenerkennung für große Adressbestände Entwurf und Implementierung

Dublettenerkennung bezeichnet einen Prozess zur Ermittlung ähnlicher oder identischer Datensätze, die sich auf das gleiche Objekt der realen Welt beziehen. Eine besondere Bedeutung hat diese im Rahmen einer Datenbereinigung zum Beispiel nach dem Zusammenführen verschiedener Datenbestände mit möglichen Überlappungen. In diesem Zusammenhang haben sich in den letzten Jahren einige interessante Entwicklungen ergeben. Zum einen steigen die erfassten Datenmengen immer weiter an, so dass Algorithmen an Bedeutung gewinnen, die auch in solchen großen Datenbeständen effizient arbeiten. Zum anderen steigt durch die stärkere Verbreitung von Mehrkernprozessoren und die zunehmende Zentralisierung von IT-Diensten (vgl. Cloud Computing) auch der Bedarf an Lösungen, die in solchen Umgebungen optimal arbeiten und sich gut skalieren lassen. Der hier vorgestellte Lösungsansatz zur Dublettenerkennung kombiniert einen modernen und effizienten Algorithmus mit den Vorzügen einer zentralen und dienstorientierten Architektur.