データマッピングとは？
データマッピングは、多くのデータ処理の成功に欠かせない要素です。データマッピングでの1つの過ちによって、エラーが複製され、最終的には不正確な分析がもたらされることもあります。
ほとんどの企業は何らかの時点で、システム間でデータを移動します。また、さまざまなシステムが同様のデータをさまざまな方法で保存しています。そのため、分析などのタスクのためにデータを移動・統合するには、データが目的地に正確に到達することを保証するためのロードマップが必要です。
データ統合、データ移行、データウェアハウス自動化、データ同期、自動データ抽出、その他のデータ管理プロジェクトのようなプロセスでは、データマッピングの品質が知見を得るために分析対象となるデータの品質を決定します。
現代の企業におけるデータマッピングの意義
データマッピングは、データベース間でフィールドを一致させるプロセスです。これは、データ移行、データ統合、およびその他のデータ管理タスクを促進するための最初のステップです。
ビジネスの知見のためにデータを分析する前に、意思決定者が利用できるようにデータを均質化する必要があります。データが多くのソースから取得されるようになり、各ソースは同様のデータポイントを異なる方法で定義することがあります。たとえば、ソースシステムの州のフィールドではイリノイ州を「Illinois」と示し、ターゲットでは「IL」として格納しているといったケースです。
データマッピングは、ソースから移したデータを正確でターゲットで使用可能なものにするため、2つのシステム（データモデル）の違いを橋渡しします。
一時期、データマッピングは一般的なビジネス機能でしたが、データとソースの増加に伴ってデータマッピングのプロセスが複雑化し、大規模データセットを扱うための自動化ツールが必要になりました。
データマッピングはデータ管理の鍵
データマッピングは、多くのデータ管理プロセスの重要な部分です。適切にマッピングされないデータは、ターゲットに移動するときに破損する可能性があります。データの移行、統合、変換、そしてデータウェアハウスへの投入で、データマッピングの品質はデータを最大限に活用するための鍵となります。
データ移行
データ移行とは、一回限りのイベントとして、あるシステムから別のシステムにデータを移動するプロセスです。通常、これは時間とともに変化しないデータを対象とします。移行後のターゲットは、移行データの新しいソースになり、元のソースは廃止されます。データマッピングは、ソースのフィールドをターゲットのフィールドにマッピングすることにより、移行プロセスをサポートします。
データ統合
データ統合とは、継続的なプロセスとして定期的に、あるシステムから別のシステムにデータを移動するプロセスです。統合は、四半期ごとや月ごとなどのスケジュールによって行われることも、特定のイベントによってトリガーされることもあります。データは、ソースとターゲットの両方で保存・維持されます。データ移行と同様に、統合用のデータマップがソースのフィールドとターゲットのフィールドを一致させます。
データ変換
データ変換は、データをソースのフォーマットからターゲットのフォーマットに変換するプロセスです。これには、データタイプの変更、nullや重複の削除、データの集約、データのエンリッチメント、その他の変換によるデータのクレンジングが含まれる場合があります。たとえば、「Illinois」を「IL」に変換して、ターゲットのフォーマットに一致させることができます。これらの変換式は、データマップの一部です。データが移動されるとき、分析で使用できるようにデータを正しいフォーマットで取得するため、データマップが変換式を使用します。
データウェアハウジング
分析または他のタスクのためにデータを1つのソースに格納することが目標である場合、データは通常データウェアハウスに格納されます。クエリ、レポート、または分析を実行すると、データはウェアハウスから取得されます。ウェアハウス内のデータはすでに移行、統合、変換が完了しています。データマッピングによって、データがウェアハウスに移されるときに意図されたとおりの目的地に到達することが保証されます。
データマッピングのステップ
- ステップ1：定義 — テーブル、テーブル内のフィールド、移動後のフィールドのフォーマットなど、移動対象のデータを定義します。データ統合については、データ転送の頻度も定義されます。
- ステップ2：データのマッピング — ソースフィールドをターゲットフィールドに一致させます。
- ステップ3：変換 — フィールドの変換が必要な場合は、変換式、つまりルールがコーディングされます。
- ステップ4：テスト — テストシステムとソースからのサンプルデータを使用し、転送を実行して動作を確認し、必要に応じて調整します。
- ステップ5：展開 — データ変換が計画どおりに機能していることを確認したら、移行または統合の開始イベントをスケジューリングします。
- ステップ6：維持と更新 — 継続的なデータ統合の場合、データマップは、新しいデータソースの追加、データソースの変更、またはターゲットでの要件の変更に応じて、更新や変更を必要とする生きたエンティティです。
適切なデータマッピングツールの価値
高度なクラウドベースのデータマッピングと変換ツールは、予算を増やさずにデータを活用するために役立ちます。このデータマッピングの例では、データフィールドがソースからターゲットにマッピングされています。
従来、組織はデータマッピングを文書化していました。当時はそれで十分でしたが、現在の環境ははるかに複雑化しています。データの増加、マッピングの増加、そして絶え間ない変更に、紙ベースのシステムは付いていくことができません。透明性に欠け、データモデルでは避けられない変更を追跡できません。また、手作業によるマッピングは、手作業による変換のコーディングを意味し、時間がかかり、エラーを伴います。
アナリストとアーキテクト向けの透明性
データ品質は重要であるため、データアナリストとアーキテクトは、ソースとターゲットのデータを正確かつリアルタイムで表示する必要があります。データマッピングツールは、マッピングされるデータ構造に共通のビューを提供するので、アナリストとアーキテクトは全員がデータの内容、流れ、変換を確認できます。
複雑なフォーマットの最適化
さまざまなソースから大量のデータがストリーミングされるため、データの互換性が潜在的な問題になります。優れたデータマッピングツールは、組み込みツールを提供して変換プロセスを合理化し、複雑なフォーマットが正確に変換されるよう保証します。これによって時間を節約し、人的エラーの可能性を低減します。
データモデルの変更における問題の削減
データマップは一度限りの処理ではありません。データ標準、レポート要件、およびシステムの変更は、マップのメンテナンスが必要であることを意味します。クラウドベースのデータマッピングツールを使用すると、ステークホルダーは変更に関するドキュメントを失うリスクを負わずに済みます。優れたデータマッピングツールを使用すると、ユーザーはマップが更新されても変更の影響を追跡できます。データマッピングツールを使用すると、ユーザーはマップを再利用できるため、毎回ゼロから始める必要がありません。
データマッピングツールに期待すべき機能
クラウドベースのデータマッピングソフトウェアツールは、高速で柔軟性と拡張性があり、予算を増やさず厳しいマッピングのニーズに対応するように構築されています。データマッピングツールに必要な機能は、組織のニーズによって異なりますが、一般的には以下のような機能が期待されます。
幅広いフォーマットのサポート
ほとんどのツールは、Excel、区切りテキストファイル、XML、JSON、EBCDICなどの基本的なファイルタイプをサポートしています。SQL Server、Sybase、Oracle、DB2など、環境で一般的なフォーマットを処理するツールを探します。優れたマッピングツールは、SAP、SAS、Marketo、Microsoft CRM、SugarCRMなどのエンタープライズソフトウェア、またはSalesforceやDatabase.comなどのクラウドサービスのデータも処理できます。
直感的操作と自動化
直感的なクラウドベースのツールは、反復タスクを自動化して時間と退屈な作業を削減し、人的ミスのリスクを低減するように設計されています。フィールドをすばやく一致させて組み込みの変換を適用できるドラッグアンドドロップ機能があれば、コーディングが不要になります。
ワークフローとスケジューリング
自動化機能を完成させるには、カレンダーまたはイベントによってトリガーされるマッピングジョブをスケジューリングする機能を備えた、完全なマッピングワークフローを作成できるツールを探します。
エンタープライズデータマッピングによるデータ管理の改善
データマッピングは、データをソースからデスティネーションに移動するプロセスでデータの正確性を維持するために不可欠な部分です。優れたデータマッピングにより、データウェアハウスの優れたデータ品質が保証されます。
クラウドが提供するデータを最大限に生かして、データの統合と管理のためのエンドツーエンドのソリューションにより、より多くのデータを活用できます。幅広いデータソースとプラットフォームのセットから直感的なセルフサービス型データアクセスに至るまで、統合アプリケーションスイートのTalend Data Fabricは、単一の環境ですべてのエンタープライズデータを管理できます。今すぐTalend Data Fabricをお試しください。
