Datenmigration verstehen: Strategie und Best Practices

Datenmigration und Datenintegration müssen als gut angelegte Prozesse reibungslos funktionieren. Denn die meisten modernen Unternehmen setzen auf Big Data – und Big Data schläft nie. Daten von der Eingabe zu einem Data Lake, von einem Repository zum anderen, von einem Data Warehouse zu einem Data Mart oder in bzw. durch die Cloud (Cloud-Integration) migrieren – ohne ein gutes Datenmigrationskonzept  laufen Unternehmen dabei Gefahr, ihr Budget zu überschreiten oder Datenprozesse zu komplex gestalten. Womit sie nicht den Erwartungen entsprechen.

Was ist Datenmigration?

Datenmigration (Data Migration) bezeichnet die Übertragung von Daten von einem System zum anderen. Dieser Vorgang ist aufwändig, da er einen Wechsel des Speichers und der Datenbank oder der Anwendung erfordert.

In Bezug auf den ETL-Prozess (Extraktion / Transformation / Laden) umfasst die Datenmigration mindestens die Transformation und das Laden. Das bedeutet, dass die extrahierten Daten bei der Aufbereitung eine Reihe von Funktionen durchlaufen müssen, bevor sie an den Zielort geladen werden können.

Es gibt viele Gründe für eine Data Migration. So können Unternehmen u. a. Daten migrieren, um … 

• … das gesamte System ihrer Organisation zu überholen. 
• … Datenbanken aufzurüsten. 
• … ein neues Data Warehouse zu erstellen. 
• … neue Daten vor einer Akquisition oder aus anderen Quellen zu integrieren. 
• … ein anderes System neben bestehenden Anwendungen zu implementieren..

Warum ist eine Datenmigrationsstrategie wichtig?

Das grundsätzliche Ziel einer Datenmigration besteht darin, die Performance und Wettbewerbsfähigkeit eines Unternehmens zu steigern. Um dies zu erreichen, empfiehlt es sich ein fundiertes Datenmigrationskonzept zu erstellen.

Was passiert bei unerfolgreichen Datenmigrationen?

Verläuft eine Datenmigration weniger erfolgreich, kann dies zu ungenauen Daten mit Redundanzen und Unwägbarkeiten führen. Das kann selbst bei voll nutzbaren und adäquaten Quelldaten passieren. Zudem können sich Probleme, die bereits in den Quelldaten vorhanden waren, bei der Überführung in ein neues, komplexeres System verstärkt auswirken.

Mit einer umfassenden Datenmigrationsstrategie lässt sich verhindern, dass die Migration der Daten mehr Probleme schafft, als sie löst. Neben Termin- und Budgetüberschreitungen können lückenhafte Konzepte dazu führen, dass Migrationsprojekte komplett scheitern. Bei der strategischen Planung sollten sich die Teams daher voll auf die Datenmigration konzentrieren, statt andere Großprojekte zu priorisieren.

Was sollte ein Datenmigrationsplan berücksichtigen?

Erstellen Sie ein Datenmigrationskonzept, sollten Sie auf diese kritischen Faktoren eingehen:

• Kenntnis der Daten – Vor der Data Migration müssen Sie die Quelldaten einer umfassenden Prüfung unterziehen. Ohne diesen Schritt kann es zu unerwarteten Problemen kommen.
• Cleanup – Beheben Sie jegliche Probleme, die Sie in den Quelldaten identifiziert haben. Eventuell sind dazu zusätzliche Softwaretools und externe Ressourcen aufgrund des hohen Aufwands erforderlich.
• Wartung und Schutz – Die Qualität der Daten nimmt mit der Zeit ab, sodass diese unzuverlässig werden. Um die Datenqualität aufrecht zu erhalten, muss es ausreichend Kontrollen geben.
• Governance – Nachverfolgung und Reporting bezüglich der Datenqualität sind wichtig, weil sie ein besseres Verständnis der Datenintegrität liefern. Es ist ratsam, dafür benutzerfreundliche Tools und Prozesse einzusetzen, die zumindest in Teilen automatisiert ablaufen. Neben einem strukturierten Ablauf sollte im Datenmigrationsplan ein Prozess festgelegt werden, um geeignete Software und Tools für das Projekt bereitstellen zu können.

Strategien für die Datenmigration

Bei der Entwicklung einer Datenmigrationsstrategie gibt es nicht nur einen Weg, der zum Ziel führt. Um ein passendes Konzept zu finden, ist es wichtig, die individuellen Geschäftsanforderungen der Organisation zu berücksichtigen. Die meisten Datenmigrationskonzepte fallen indes in eine dieser beiden Kategorien: „Big Bang“ oder „Trickle“.

„Big Bang“-Migration

Bei einer Big-Bang-Migration erfolgt der komplette Transfer innerhalb eines begrenzten Zeitfensters. Die Live-Systeme sind nicht verfügbar, solange die Daten den ETL-Prozess durchlaufen und in die neue Datenbank übertragen werden.

Der Nachteil dieser Methode liegt auf der Hand: Die Datenmigration muss in relativ kurzer Zeit stattfinden, da eine wichtige Ressource während des laufenden Geschäftsbetriebs offline ist. Diese Art der Migration geschieht dementsprechend unter einem enormen Druck und birgt das Risiko, dass es bei der Implementierung zu Problemen kommt.

Falls der Big-Bang-Ansatz für Ihr Unternehmen jedoch am sinnvollsten erscheint, ist es ratsam, den Prozess der Data Migration im Vorfeld durchzuspielen.

„Trickle“-Migration

Bei Trickle-Migrationen findet der Migrationsprozess in mehreren Phasen statt. Während der Implementierung laufen das alte und neue System parallel, sodass es keine Ausfälle oder operativen Unterbrechungen gibt. Da die Prozesse in Echtzeit ausgeführt werden, kann die Migration der Daten kontinuierlich erfolgen.

Im Vergleich zum Big-Bang-Ansatz können sich diese Implementierungen ziemlich komplex gestalten. Verläuft die Datenmigration jedoch strukturiert, erweist sich die erhöhte Komplexität als Vorteil: Das Risiko für Fehler reduziert sich, anstatt dass weiteres hinzukommt.

Best Practices für die Datenmigration

Unabhängig der Implementierungsmethode empfiehlt es sich bei jeder Data Migration die folgenden Best Practices zu berücksichtigen:

• Vorab Datenbackup durchführen: Sie können es sich nicht leisten, Daten zu verlieren, falls bei der Implementierung etwas schiefgeht. Sorgen Sie dafür, dass Sie über Backupressourcen verfügen und testen Sie diese vor der Datenmigration.
• An der Strategie festhalten: Viele Datenmanager halten sich nicht an ihren Plan, wenn der Prozess allzu glatt läuft oder außer Kontrolle gerät. Datenmigrationen können kompliziert und manchmal auch frustrierend sein. Bereiten Sie sich darauf vor und halten Sie sich an Ihre Strategie.
• Testen, testen, testen: Während der Planungs- und Designphase sowie bei der Implementierung und Wartung ist es wichtig, die Datenmigration zu testen. So stellen Sie sicher, dass Sie das gewünschte Ergebnis erhalten.

6 Schritte zum passenden Datenmigrationskonzept

Die meisten Strategien unterscheiden sich hinsichtlich der Anforderungen und Ziele der jeweiligen Organisation. In der Regel sollte ein Datenmigrationsplan demselben wiedererkennbaren Muster folgen.

1. Die Quelle untersuchen und bewerten

Vor der Datenmigration müssen Sie wissen (und verstehen), welche Daten Sie migrieren und wie diese in das Zielsystem passen. Machen Sie sich außerdem ein Bild davon, um wie viele Daten es sich handelt und wie diese aussehen. 

Stellen Sie fest, welche Daten Sie tatsächlich übertragen müssen, auf welche Sie verzichten können und welche fehlen. Damit verhindern Sie, dass u. a. folgende Herausforderungen Ihre Datenmigration behindern:

• Sie übertragen Daten mit vielen Feldern, die nicht im Zielsystem abgebildet werden müssen. 
• Datenfelder innerhalb einer Quelle fehlen und Sie müssen Sie von einem anderen Ort hernehmen, um die Lücke zu füllen. 
• Wegen unzureichend befüllter Felder, unvollständigen Datenelementen oder anderen Ungenauigkeiten ist es nicht sicher, ob es überhaupt sinnvoll ist, die Daten zu migrieren.

Prüfen Sie Ihre Quelldaten nicht im Vorfeld, laufen Sie Gefahr, Zeit und Geld bei der Datenmigration zu verschwenden. Oder schlimmer noch: Es könnte zu einem kritischen Fehler beim Datenmapping kommen, der das Projekt ins Stocken bringt.

2. Die Datenmigration definieren und konzipieren

In der Designphase definieren Organisationen, welchen Ansatz der Datenmigration sie verfolgen: Big Bang oder Trickle. Dazu gehört es, die technische Architektur der Lösung zu entwerfen sowie die Details der Datenmigration zu bestimmen.

Jetzt können Sie anfangen, die Zeitpläne und sämtliche Belange für Ihr Projekt festzulegen. Berücksichtigen Sie dabei:

• das Design 
• die Übertragung der vorgesehenen Daten
• das Zielsystem

Am Ende dieses Schritts sollte das gesamte Projekt dokumentiert sein. Zudem ist es wichtig, während der Planung Sicherheitskonzepte für die Daten zu erstellen und die Datenschutzrichtlinien einzuhalten.

3. Die Lösung für die Migration von Daten erstellen

Es kann verlockend sein, bei der Entwicklung des Datenmigrationsprojekts nur auf das Nötigste zu achten. Doch da Sie die Implementierung nur einmal durchführen, ist es wichtig, sie richtig hinzubekommen. Eine verbreitete Taktik ist es, Daten in Untereinheiten aufzuteilen und immer nur eine Kategorie auf einmal zu erstellen. Anschließend führen Sie den Test durch. Für Organisationen, die an besonders großen Datenmigrationen arbeiten, kann es sinnvoll sein, Erstellung und Tests parallel laufen zu lassen.

4. Einen Live-Test durchführen

Die Testphase ist nicht vorbei, wenn Sie den Code in der Build Phase getestet haben. Es ist wichtig, das Design der Datenmigration mit echten Daten zu testen. So können Sie die Genauigkeit der Implementierung und die Vollständigkeit der Anwendung gewährleisten.

5. Den Schalter umlegen

Nach den finalen Tests kann die Datenmigration gemäß dem im Plan definierten Ansatz erfolgen.

6. Prüfung

Nachdem die Implementierung live gegangen ist, setzen Sie ein System zur Datenprüfung auf, um die Genauigkeit der Datenmigration sicherzustellen.

Software für die Datenmigration

Es ist schwierig und zeitaufwändig, ein Tool für die Datenmigration von Grund auf zu erstellen oder eigenhändig zu programmieren. Datentools zur Vereinfachung von Migrationen sind effizienter und kosteneffektiver. Achten Sie bei der Suche nach einer geeigneten Softwarelösung auf diese Faktoren:

• Konnektivität – Unterstützt die Lösung die Systeme und Software, die Sie aktuell im Einsatz haben?
• Skalierbarkeit – Was sind die Datenlimits für die Software und werden sie in absehbarer Zeit noch für die Datenanforderungen ausreichen?
• Sicherheit – Welche Sicherheitsfunktionen bietet die Softwareplattform, mit denen Ihre Daten geschützt werden? 
• Geschwindigkeit – Wie lange dauert die Verarbeitung auf der Plattform? 

Datenmigration in die Cloud 

IImmer mehr Organisationen verlagern Ihre Daten teilweise oder ganz in die Cloud. So möchten sie ihre Time to Market verkürzen, die Skalierbarkeit verbessern und den Bedarf an technischen Ressourcen reduzieren.

Früher haben Datenarchitekten größere Serverfarmen vor Ort implementiert, damit die Daten an die physischen Ressourcen der Organisation gebunden bleiben. Einen Grund für den lokalen Betrieb von Servern stellten Sicherheitsbedenken bezüglich der Cloud dar. Doch mittlerweile habe alle wichtigen Plattformen Sicherheitsmaßnahmen eingeführt. Diese entsprechen denen einer herkömmlichen IT-Abteilungen (und natürlich auch der DSGVO). Daher ist diese Barriere für eine Datenmigration weitgehend überwunden.

Die richtigen Cloud-Integrationstools unterstützen Kunden dabei, ihre Cloud-Datenmigration mit einer hochskalierbaren und sicheren Cloud-Integration Platform-as-a-Service (iPaaS) zu beschleunigen. Talends Suite beinhaltet cloudnative Open-Source-Datenintegrationstools, die Drag-and-drop-Funktionen ermöglichen. So lässt sich ein komplexes Datenmapping vereinfachen. Zudem ist unsere Lösung für Datenmigrationen dank unseren Open Source Foundations kosteneffektiv und effizient.

Datenintegration – Erste Schritte

Möchte Ihre Organisation die IT aufrüsten, in die Cloud wechseln oder Daten konsolidieren, könnte bald auch eine Datenmigration anstehen. Das ist ein großes und wichtiges Projekt. Damit die Integrität Ihrer Daten dabei stets gewährleistet ist, sollten Sie es von Beginn an richtig anpacken.

Die Talend-Plattform bietet kostenlose Open-Source-Datentools, die jeden Schritt im Datenmigrationsprozess optimieren können: Angefangen bei der Datenaufbereitung über die Integration bis zum kontinuierlichen Datenstreaming. Starten Sie Ihre Datenmigration und lernen Sie dabei unsere leistungsfähige Software kennen, um Ihr Projekt voranzutreiben.