100%iger Abgleich der Datenmigration

Das Datenabgleichprojekt war Teil eines Transformationsprogramms, das von einem   internationalen Automobilunternehmen initiiert wurde, um strategische Ziele erreichen zu können. Hauptziel ist die Reduzierung des Arbeitseinsatzes durch Standardisierung und Harmonisierung der derzeitig heterogenen Prozess- und Applikationslandschaft. Diese Maßnahmen erhöhen die Effizienz und reduzieren die technische Komplexität.

Der erste Schritt des Programms ist die Migration auf eine standardisierte und harmonisierte Plattform des Geschäftspartners. Die Datenmigration wurde von der internen IT-Abteilung durchgeführt. Für das Datenabgleichkonzept war Data eXcellence verantwortlich.

Der Kunde verfügte nur über begrenzte Erfahrungen mit dem Abgleichen komplexer Datenmigrationen. Data eXcellence wurde gebeten, ein Konzept vorzuschlagen, das zu einem 100%igen Abgleich der Datenmigration führte. Der Abgleich musste alle Datensätze und alle Datenfelder vor und nach der Migration unter Berücksichtigung aller Mappingregeln für das neue Standardsystem umfassen. Zu den wichtigsten Herausforderungen zählten:

• Umfang und Komplexität der Daten
• Die Transformationsregeln waren noch im Aufbau und noch nicht formalisiert

Darüber hinaus war es erforderlich, dass das Konzept nach dem Go-Live wiederverwendbar war, um das neue und das alte System täglich vergleichen zu können. Dies war aus Synchronisationsgründen notwendig, da das alte System im Rahmen eines schrittweisen Migrationsansatzes noch in Gebrauch blieb.

Der erste Schritt des Konzepts bestand darin, die Transformationsregeln für die Datenmigration auf funktionaler Ebene zu formalisieren und zu vervollständigen. Dadurch konnte das Unternehmen das Mapping verstehen – was für die Zustimmung ausschlaggebend ist. Diese Spezifikationen wurden sowohl für die Datenmigration als auch für die Datenabstimmung – und nach dem Go-Live auch für die Synchronisation - zur gemeinsamen Wahrheit.

Der nächste Schritt bestand darin, die Abstimmungstests zu entwerfen und zu erstellen. Dies ist mehr als nur das Vergleichen der Werte von Datenfeldern vor und nach der Datenmigration. Beim Mapping der Daten zu den neuen Zielplattformdaten finden sämtliche Transformationen statt. Es ist nicht möglich, die Transformationen einfach umzukehren, da nicht jedes Mapping vom Quell- zum Zielsystem reversibel ist, wie z.B. bei den Many-to-One-Transformationen. Da eine 100%ige Datenabstimmung erforderlich war entschieden wir, die gesamte Transformationslogistik mit dem DX Data Migration Factory Framework (DXF™) neu aufzubauen. Auf diese Weise konnten wir die Fallstricke umgehen, die bei einer Umkehrung der Mapping-Logistik auftreten können. Ein 100%iger Datenabgleich war möglich, indem nach der tatsächlichen Datenmigration, die von der internen IT-Abteilung durchgeführt wurde, die Ergebnisse dieser Transformation einfach mit den Ergebnissen im Zielsystem verglichen wurden. Dieser Ansatz ermöglichte es, die Abgleichungstests als vollständigen automatischen Regressionstest für jeden Testlauf für die Datenmigration zu verwenden. Dies führte zu einer Reduzierung des Testaufwandes und trug zu einer Verbesserung der Datenmigrationssoftware bei.

Der letzte Schritt bestand darin, Berichte über die Datenabgleichs- und Vergleichssoftware zu erstellen, die die Ergebnisse auf den verschiedenen Aggregationsebenen anzeigten. Managementberichte zeigten komplette und korrekte Übersichten über Prozentsätze. Detaillierte Berichte für die Entwickler der Migrationssoftware zeigten die tatsächlichen Inkongruenzen und wurden für Analyse und Fehlersuche verwendet. Für den Synchronisationsabgleich nach dem Go-Live wurden Berichte erstellt, die von Daten-Cleansing-Teams verwendet werden können.