データウェアハウス：情報ストレージの不滅の巨人たち

Data Warehouse Immortal Giants of Information Storage

データ管理の常に進化し続ける世界において、データウェアハウスとデータレイクの古くからの対立はようやく解消されつつあります。これからは、一方を選ぶことではなく、それらの力を結合させて現代的かつ統合的な構造としてビジネスとITに大きなメリットをもたらすことが重要です。このブログ記事ではデータウェアハウスについて詳しく説明し、情報ストレージの不滅のタイタンとしていかに繁栄しているかを明らかにします。

まず、データが現代のビジネスの推進力となった理由について見ていきます。そして、”データウェアハウス”と”データレイク”という用語の意義と使用法を理解することが、私たちの探求の基盤となります。これらの概念を分解することで、伝統的な方法と現代的な方法のギャップを埋め、今日のデータ駆動型環境における相互的な関係を明らかにします。

さらに深く掘り下げると、シンプルでありながら強力なアーキテクチャモデルが浮かび上がり、データウェアハウスとデータレイクが共存し、相互補完しあう方法が明らかになります。しかし、物語はそこで終わりません。データファブリック、データレイクハウス、データメッシュという3つの革新的なアーキテクチャパターンについても掘り下げ、このモデルとの関連を検証します。これらの新しいアプローチは、協調的なデータ管理の可能性を開き、より効率的かつ効果的なデータ操作の道を開きます。

次に、これら2つの環境に機能とデータを戦略的に組み合わせ、配置することで、ビジネスと技術的なニーズを多様にサポートする10の特定の領域に焦点を当てます。データウェアハウスとデータレイクの適切なバランスを見つけることで、組織は分析、洞察、意思決定の新しい可能性を開示できます。

• クラウドセキュリティの未来：トレンドと予測
• AWS上で請求書処理を自動化するためのサーバーレスアプリケーションの構築
• Amazon SageMaker Canvas を使用して、更新されたデータセットを使用して ML モデルを再トレーニングし、一括予測を自動化します

私たちの探求を満足のいく結論に導くために、クラウデラデータウェアハウスにスポットライトを当てます。この革新的なソリューションは、伝統的なデータウェアハウスとデータレイクの柔軟性をシームレスに統合した、最高の両方をカバーしています。現代のデジタルビジネスに設計されたこのハイブリッドオンプレミスとマルチクラウドプラットフォームは、既存のデータインフラストラクチャを活用しながら、組織に未来を掴む力を与えます。

広がり続ける情報の時代において、データウェアハウスの持続性と適応性を称えながら、情報ストレージの不滅のタイタンがデータ管理の景色を形成し続け、組織がデータ中心の世界で活躍するために必要なツールを提供しています。

データマートからデータレイクへ：データ管理の進化

2010年に革新的なミームが現れ、データ管理の世界を揺るがしました！それがデータレイクで、構造化されたデータマートとは対照的に、情報が自然な、未処理の状態で集められるメタファーの貯水池です。この比喩は、そのシンプルさと記憶に残ることから共感を呼びました。

革新に取り組む企業は迅速にデータレイクを取り入れ、オンラインのビッグデータストリーミングの大量の流入を活用することが技術的な必要性であるという説得力がありました。オープンソースソフトウェアとコモディティハードウェアによるコスト削減の魅力も、彼らの関心を刺激しました。場合によっては、データウェアハウスプロジェクトが苦戦していることから、政治的な動機も一因となりました。両者のアプローチを主張する人々の間で論争が激化し、データウェアハウスをデータレイクで置き換えるという主張が10年間にわたり広まりました。

クラウドが市場で主導的な存在となるにつれ、アーキテクチャモデルと技術が誤って絡み合い、曖昧で不安定な実装が生まれました。その結果、いくつかのデータレイクが停滞した沼地になり、他のデータレイクは最終的に放棄されました。

混乱の中で、データウェアハウスとデータレイクの間に固有のシナジーがあることが認識されるようになりました。これらのエンティティ間でデータと管理プロセスを共有することが、ほとんどの実装の基盤となる先進的なハイブリッドクラウド技術によって可能になりました。その結果、レイクとウェアハウスに関連する用語や意味が絡み合い、従来はデータレイクを通じて提供されていた分析的なユースケースが、現在はデータウェアハウスを活用することが増えています。

ただし、実装に関する継続的な課題から、新しい3つのアーキテクチャパターンが生まれました。それらのアプローチを主張する人々は、データ管理の問題に対する究極の解決策を提供すると主張していますが、それらにはそれぞれ独自の強みと弱みがあります。さらに、不一致な用語、異なる定義、競合する主張が、基本的なデータ管理の概念をさらに混乱させています。

そのため、レイクとウェアハウスに関する疑問に加えて、さらなる問い合わせが生じます。完全に非集中型のデータ管理アプローチが今や必要なのでしょうか？人工知能は長年のメタデータの課題を解決することができるのでしょうか？単一の技術ベースは可能であり、また望ましいのでしょうか？

このブログは、これらの複雑な問いに答え、熟考のための堅固な基盤を提供することを目的としています。ただし、特定のビジネスニーズや既存のソリューションに応じて、複数の回答やオプションが存在することを認識しています。組織は、進化するデータの景観を航海することによって、独自の状況や願望に合わせたコースを立てることができます。

データウェアハウスの新しい景観：新しい種類の獣

データは以前とは違いました。過去には、ビジネスは、意思決定に必要な比較的少量の構造化データを、運用システムから得ることができました。しかし、ビッグデータの台頭により、すべてが変わりました。今日、ビジネスは、ソーシャルメディア、クリックストリーム、そしてモノのインターネット（IoT）を含むさまざまなソースから、これまで以上に多くのデータを生成しています。このデータは非構造化で、しばしばリアルタイムです。データウェアハウスは、従来のITインフラの外で動作しています。この産業は常に進化しており、一つの汎用的な解決策はありません。これにより、ビジネスが適切なデータウェアハウスを選択するのは困難になります。データウェアハウスは、クラウドベースのプラットフォームで構築され、オープンソースソフトウェアを使用することが多く、企業にデータの柔軟性とコントロールを提供します。しかし、これはデータウェアハウスを管理し、保護するのがより困難になることを意味します。

ビッグデータの課題

ビッグデータの課題は多岐にわたります。まず、管理が容易ではありません。従来のデータウェアハウスは、構造化データを保存するように設計されていましたが、ビッグデータはしばしば非構造化です。これにより、ビッグデータを保存、処理、分析することが困難になります。

第二に、ビッグデータはしばしばリアルタイムであり、ビジネスはデータが生成された直後に分析できる必要があります。これは、リアルタイム分析には適していない従来のデータウェアハウスにとって課題となることがあります。

第三に、ビッグデータは予測分析に使用されることがよくあります。これは、ビジネスがデータを使用して将来の動向を予測することを意味します。これは、ビジネスにとって強力なツールである一方で、プライバシーの問題を引き起こすこともあります。

データレイクが提供する最新の最先端のストレージソリューション

データレイクは、ビッグデータの課題に対処するために設計された新しいタイプのデータストレージソリューションです。データレイクは、構造化、非構造化、半構造化など、あらゆるタイプのデータを保存できるように設計されています。これにより、ビッグデータを簡単に保存、管理できます。

データレイクは、リアルタイム分析にも対応しています。これにより、ビジネスはデータが生成された直後に分析できるため、より迅速かつ正確な意思決定が可能になります。

データウェアハウスの未来

データウェアハウスは死にませんが、進化しています。従来のデータウェアハウスは、データウェアハウスとデータレイクの利点を組み合わせたハイブリッドデータウェアハウスに置き換えられています。ハイブリッドデータウェアハウスは、両方の世界の最良の部分を提供することができます。すべてのタイプのデータを保存でき、過去の分析とリアルタイム分析の両方に使用できます。

データは新しい石油です。デジタル時代において、データはビジネスにとって最も貴重な資産です。データを収集、保存、分析できるビジネスは競争優位性を持つことになります。データレイクは、ビッグデータの課題に対処するために設計された新しいタイプのデータストレージソリューションであり、データウェアハウスの未来の重要な部分です。

魔法の島でデータウェアハウスとデータレイクの能力を組み合わせる

データウェアハウスとデータレイクを組み合わせることは簡単に見えるかもしれませんが、それらは異なるコンセプトです。湖の中の島にある倉庫の例えは、デジタルビジネスにおいてデータを管理し活用するために、それらがどのように補完し合い、シームレスに協力するかを説明するのに役立ちます。

データウェアハウスの概念的な定義は、過去30年間ほぼ不変のままでしたが、キンボールの次元/スタースキーマデータモデルなどのデザインの機能的な違いはまだ存在しています。この概念の進化は、リレーショナルデータベースの変化によって駆動され、特定の目的に最適化されたコンポーネントが生まれました。エンタープライズデータウェアハウス（EDW）は、さまざまな運用ソースからのデータのクレンジングと調整を担当するため、データウェアハウスとデータレイクの違いを区別する上で中心的な役割を果たしています。

データウェアハウスの主な目的は、法的に重要な行動、パフォーマンストラッキング、および問題解決を含む、特に意思決定を支援するために信頼性の高い一貫した情報を提供することです。データウェアハウスには、生データ以上の詳細な情報が含まれており、有効かつ正確に使用するために準備されたコンテキスト化されたクレンジング情報も含まれています。この詳細な情報は、ビジネスユーザーのパフォーマンス、利便性、またはセキュリティを向上させるために、適切に構造化されたデータマートにさらに細分化される場合があります。

倉庫内またはデータマート内のデータは、主に従来のオンプレミス型およびモダンなWebベース型の操作システムから発生します。データが品質基準を満たし、有用かつ利用可能な情報に文脈化できる場合、他のソースも含めることができます。たとえば、データレイク内のデータは、合意されたデータガバナンスのルールに基づいてクレンジングおよび調整プロセスを経て、データウェアハウスに取り込むことができます。

一方、データレイクは、あらかじめ優先モデルに構造化されていない幅広いデータ項目を収集できる能力を持つことで特徴づけられます。これは、複数の外部ソースからの高容量の生データの取り込み、処理、フォーマット、および管理を可能にする多構造の、しばしば分散型のデータストアです。データレイクは、既存のシステムによってカバーされる多様なビジネスおよび技術的ニーズを満たすことができます。ただし、データレイクの範囲は、楽観的すぎるのではなく、現実的で実用的であることが重要です。

データウェアハウスとデータレイクの独自の特徴と用途は、従来、別々の技術実装と切り離されたデータのサイロの作成につながってきました。ただし、それらの違いを理解することにより、サイロを排除する統合アーキテクチャパターンを作成することができます。図1は、このパターンを示し、データウェアハウスとデータレイクを相互に位置付け、操作システムに対して理解しやすくすることができます。

図1：島に倉庫がある湖。

このアーキテクチャパターンの中心には、データウェアハウスがあります。これを理解するには、データレイクから情報の島に向かって進んでいきましょう。データレイクは、クリックストリーム、ソーシャルメディア、およびモノのインターネット（IoT）などの外部のビッグデータソースから、データストリームを介して生データを受信します。データサイエンティストやビジネスアナリスト（スキーマオンリード）は、必要に応じてこの生データを処理し、分析、機械学習、および予測的、指示的ビジネスアプリケーションのためのさまざまなストアを作成します。遅延や要約化が分析価値を低下させることがあるイラスト付きコンピューティングのためには、データのタイムリネスと生データが重要です。完全なクレンジングや調整が常に実現可能ではない場合がありますが、メタデータやコンテキスト設定情報を十分に提供することは、データを意味のあるものにし、保守可能にするために重要です。

データレイクの元のコンセプトは、新しいデータを作成せずに分析やデータサイエンスのための情報環境としての役割に焦点を当てていました。ただし、指示的アナリティクスや機械学習の台頭に伴い、データレイクからのフィードバックループによる、新しいデータとモデルの操作システム内での必要性が生じています。

データウェアハウスとデータレイク：統合アプローチ

従来、データウェアハウスとデータレイクは、2つの別々で独立した技術として見られてきました。データウェアハウスは、顧客注文や財務取引などの構造化データに対応して設計されており、データレイクは、ソーシャルメディアデータやセンサーデータなどの非構造化データに対応して設計されています。

しかし、近年、ビジネスが生成するデータの増加するボリュームとバラエティ、および構造に関係なくすべてのデータを分析できる必要性の増加により、データウェアハウスとデータレイクの境界線が曖昧になってきています。

その結果、データウェアハウスとデータレイクの統合アプローチの傾向が高まっています。このアプローチでは、構造に関係なく、ビジネスのすべてのデータを1つのプラットフォームに保存することができます。これにより、企業は簡単にすべてのデータにアクセスし、分析することができ、意思決定の改善とビジネスパフォーマンスの向上につながります。

データウェアハウスとデータレイクの統合アプローチを実装するために、複数のプラットフォームを活用することが有用です。最も人気のあるプラットフォームのいくつかは以下のとおりです。

• Amazon Redshift
• Google BigQuery
• Microsoft Azure Data Warehouse
• Oracle Cloud Data Warehouse
• Cloudera Data Warehouse (CDW)

これらのプラットフォームには、ビジネスが生成するデータの増加するボリュームとバラエティに対応するためにスケーラビリティ、データアナリティクスワークロードの高性能、機密データを保護するための堅牢なセキュリティ機能、中小企業にもコスト効果的など、統合アプローチに適しているため、多くの企業がこれらのプラットフォームを採用しています。

ビジネスのデータアナリティクス機能を向上させたい場合は、データウェアハウスとデータレイクの統合アプローチを検討してください。このアプローチにより、ビジネスのすべてのデータを最大限に活用し、ビジネスパフォーマンスを向上させることができます。

データ管理の人気の代替品：Data Fabric、Data Lakehouse、およびData Mesh

近年、データウェアハウスとデータレイクを使用してデータを格納および分析する傾向が増しています。しかし、これら2つの技術には、それぞれ異なる強みと弱みがあります。データウェアハウスは構造化データに設計されており、データレイクは非構造化データに設計されています。そのため、両方の技術を一緒に使用することは困難になることがあります。

この課題に対処するため、いくつかのベンダーが、データウェアハウスとデータレイクの強みを組み合わせた新しいアーキテクチャパターンを開発しました。これらの新しいパターンには、次のものがあります。

• Data fabricは、データウェアハウスとデータレイクの上に配置される統合レイヤーです。データの形式に関係なく、すべてのデータの単一のビューを提供します。これにより、ユーザーがデータにアクセスして分析しやすくなります。
• Data Lakehouseは、データウェアハウスとデータレイクの機能を組み合わせたハイブリッドアーキテクチャです。データウェアハウスのパフォーマンスとスケーラビリティと、データレイクの柔軟性と俊敏性を提供します。
• Data meshは、データを製品として扱う分散アーキテクチャです。各データ製品は、そのデータライフサイクルに責任を持つチームによって所有および管理されます。このアプローチにより、データ品質とガバナンスが改善され、データシロのリスクが低減されます。

これらのアーキテクチャパターンには、それぞれ利点と欠点があります。特定の組織にとって最適な選択肢は、その特定のニーズに依存します。

Data Fabric

利点

• すべてのデータの単一のビューを提供します。
• データにアクセスして分析しやすくなります。
• 構造化データと非構造化データの両方をサポートします。

欠点

• 実装するには複雑で高価になることがあります。
• すべての組織に適しているとは限りません。

Data Lakehouse

利点

• データウェアハウスのパフォーマンスとスケーラビリティを提供します。
• データレイクの柔軟性と俊敏性を提供します。
• 既存のデータウェアハウスおよびデータレイクインフラストラクチャを使用して実装できます。

欠点

• すべてのワークロードに適しているとは限りません。
• 新しいハードウェアおよびソフトウェアへの大きな投資が必要になる場合があります。

Data Mesh

利点

• データ品質とガバナンスが改善されます。
• データシロのリスクが低減されます。
• 既存のデータウェアハウスおよびデータレイクインフラストラクチャを使用して実装できます。

欠点

• 実装および管理が複雑になることがあります。
• すべての組織に適しているとは限りません。

最終的に、これらのアーキテクチャパターンの選択に最適な方法は、データ専門家に相談することです。彼らは、特定のニーズを評価し、組織に最適なソリューションを推奨することができます。

結論

データウェアハウスは30年にわたって意思決定支援において重要な役割を果たしてきましたが、データレイクは10年前に補完的なコンセプトとして登場しました。最初は競合するように見えましたが、それらは同等のパートナーに進化し、それぞれ異なる動機で役割を果たしています。ウェアハウスは、ビジネスを実行および管理するために調整され、法的に根拠のあるデータを提供します。一方、レイクは、生データを格納し、常に変化するパラダイムで革新的な分析を可能にするプラットフォームを提供します。これらのコンポーネントの異なるが相補的な役割を認識することが重要です。

データの量と複雑性が増すにつれて、ハイブリッドデータウェアハウスおよびデータレイクソリューションは、より使命上重要になるでしょう。上記のソリューションは、すべてこの需要に対応するために適しています。

最近の定義上の違いや実装上の課題から、新しいアーキテクチャパターンであるデータファブリック、データメッシュ、およびデータレイクハウスが登場しました。これらのパターンは、組織的アプローチや技術を通じて、ウェアハウスとレイクの役割を統合することを目的としています。データウェアハウスをデータレイク内の情報の島として概念化し、この協業環境内でのデータと機能の配置と移動を考慮することにより、これらの新しいアーキテクチャパターンに関する洞察を得ることができます。

市場には多くのデータウェアハウスとデータレイクのソリューションがあります。一部の人気のある例には、以下が含まれます:

• Cloudera Data Warehouse
• Amazon Redshift
• Microsoft Azure Data Warehouse
• Google BigQuery
• Snowflake

ビジネスニーズの進化に対応して、従来の一部のデータやデータマートをデータレイクのエコシステムに移行することで、マルチファンクション分析の進歩を活用したハイブリッド実装が実現できます。さらに、データ準備やアーカイブなどの特定の機能をデータウェアハウスから移動することで、寿命を延ばし、運用コストを削減することができます。データと機能の適切なバランスを取ることで、より効率的なハイブリッドアプローチが可能になります。

ウェアハウスとレイクのアーキテクチャの進化は、ウェアハウスとレイクの対立から、ウェアハウスとレイクの両方になることを約束し、ビジネスユーザーにクロス環境のデータ探索のための必要なイラストレーティブな機能を提供します。また、ウェアハウス環境が機能要件を満たし、ビジネス、法的、規制のニーズに合わせて正確で一貫性のあるデータコンプライアンスを提供することを保証することができます。さらに、データレイクとウェアハウスの統合と接続により、従来のビジネスとデジタル変革されたビジネスの両方に機会を提供し、より多くのデータ駆動型の可能性を引き出すことができます。

ハイブリッドデータウェアハウスとデータレイクソリューションを使用することの追加の利点は以下のとおりです:

• コスト削減: 2つのテクノロジーを組み合わせることで、ビジネスはデータのストレージと管理のコストを削減することができます。
• パフォーマンス向上: ハイブリッドソリューションは、構造化データと非構造化データの両方に対して、より優れたパフォーマンスを提供することができます。
• セキュリティの向上: ハイブリッドソリューションは、構造化データと非構造化データの両方に対して、より優れたセキュリティを提供することができます。
• 柔軟性の向上: ハイブリッドソリューションは、ビジネスがデータをストアおよび分析するための柔軟性をより高めることができます。

これらの統合されたアプローチの開発と採用が続くことで、組織はデータ駆動型の意思決定の拡大する景色で成長を促し、イノベーションを推進するために、データウェアハウスとデータレイクの両方の力を活用することができます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!