データレイク

コア・コンセプト

データレイクの基本的な考え方は、ビッグデータのためのコスト効率と拡張性の高いストレージソリューションを提供することである。主な特徴は以下の通り：

• スキーマ・オン・リード：データウェアハウス（スキーマ・オン・ライト）とは異なり、データレイクは分析用にデータを読み込むときにのみ構造やスキーマを適用する。これにより、生データのインジェストを高速化できる。
• 生データの保存：データは加工されていないオリジナルの形式で保存される。これは、将来の予期せぬ分析やMLモデルのトレーニングに役立つ可能性がある、すべての詳細を保存します。
• スケーラビリティ：一般的に、データレイクは分散ファイルシステムやAmazon S3や Google Cloud Storageのようなクラウドストレージ上に構築され、ペタバイトやエクサバイトのデータにも容易に拡張できる。
• 多様なデータタイプ： コンピュータビジョン（CV）のような分野での包括的な分析に不可欠な、さまざまなソースからの多種多様なデータ形式に対応。詳細については、データレイクに関するAWSのドキュメントを参照。

データレイクとデータウェアハウスデータウェアハウス

データレイクとデータウェアハウスはどちらも大量のデータを保存するために使用されるが、その目的は異なり、データの扱い方も異なる。

• データウェアハウス：特定の目的のために既に処理された（スキーマ・オン・ライト）、フィルタリングされた構造化データを格納する。ビジネス・インテリジェンス・レポートやSQLクエリ用に最適化されている。精製され、すぐに飲めるボトル入りの水のようなもの。詳しくは、IBMのデータ・ウェアハウジングのコンセプトをご覧ください。
• データレイク：生データをネイティブ・フォーマット（スキーマ・オン・リード）で保存。データ探索、データマイニング、機械学習（ML）モデルのトレーニングなど、未処理のオリジナルデータへのアクセスを必要とする場合に最適。自然の湖のように、様々なソースからの生の状態の水だと考えてください。データの前処理は、特定の分析タスクに合わせて、データ検索後に行われます。

AIと機械学習における関連性

データレイクは、多くのAIやMLのワークフロー、特にディープラーニング（DL）の基礎となる。大量の多様な生データを保存する能力は、高度なモデルをトレーニングするために不可欠である。データサイエンティストは、探索的分析、データクリーニング、フィーチャーエンジニアリング、高品質なトレーニングデータの作成などのタスクのために、この生データにアクセスすることができる。例えば、Ultralytics HUBのようなプラットフォームは、データセット（多くの場合、データレイク内で、またはデータレイクから調達して、キュレーションおよび管理されている）を活用して、次のようなカスタムモデルをトレーニングすることができます。 Ultralytics YOLOのようなカスタムモデルを学習させることができます。このプロセスでは、データがデータレイクに到達する前に、多くの場合、大規模なデータ収集とアノテーションが行われます。

実世界での応用

データレイクは、必要な量のデータと多様なデータを提供することで、強力なAI/MLアプリケーションを可能にする。以下に2つの例を挙げる：

1. 自律走行車の開発： 自律走行車を開発している企業は、テスト車両から膨大な量のセンサーデータ（カメラフィード、LiDARポイントクラウド、レーダー、GPS）を収集している。この生データはデータレイクに捨てられる。エンジニアやデータサイエンティストはこのデータにアクセスし、歩行者や他の車両を識別するための物体検出モデル、車線維持、ナビゲーションなどのタスクのためのディープラーニングモデルの訓練と検証を行う。Waymoのような企業が自動運転機能のためにどのようにテクノロジーを利用しているかをご覧ください。
2. パーソナライズされたレコメンデーションシステムの構築Eコマース・プラットフォームやストリーミング・サービスは、データレイクを活用して、クリック、視聴履歴、購入記録、ソーシャルメディア・アクティビティ、ユーザー属性など、多様なユーザー・インタラクション・データを保存している。この生データは、データレイク上でApache Sparkなどのツールを使って直接処理される。機械学習モデルは、この処理されたデータに基づいてトレーニングされ、パーソナライズされたレコメンデーション・システムを生成し、AI主導の小売ソリューションに見られるように、ユーザーのエンゲージメントと売上を向上させる。

メリットと課題

メリット

• 柔軟性：事前に構造化することなく、任意のデータ型を格納。
• スケーラビリティ：膨大なデータ量にも容易に対応。
• 費用対効果：低コストのストレージオプションを活用。
• データの民主化：様々なチーム（データサイエンティスト、アナリスト）が生データにアクセスできるようにする。
• 将来への備え：将来の未知のユースケースのために生データを保存します。

課題だ：

• データガバナンスデータ品質、リネージ、アクセス制御の確保は複雑です。
• セキュリティ機密性の高い生データを保護するには、強固なデータ・セキュリティと データ・プライバシー対策が必要です。
• データ沼のリスク：適切な管理とメタデータがなければ、データレイクは無秩序になり、効果的な利用が困難になる（「データ沼」）。
• 複雑さ：管理と分析に専門的なスキルを要する。効果的なMLOpsの実践が重要。

データレイクは、最新のAIソリューションに必要なデータの量と種類の増加に対応するために必要な規模と柔軟性を提供します。データレイクは、高度なアナリティクスと機械学習のイノベーションを支えるデータインフラの重要な構成要素です。