データマイニング

データマイニングの仕組み

データマイニングプロセスは、CRISP-DM（Cross-Industry Standard Process for Data Mining）のようなフレームワークに従って構造化されることが多い。典型的な段階は以下の通り：

1. データ収集と統合：構造化データベース、非構造化テキスト、データレイクからの画像など、さまざまなソースからデータを収集する。
2. データ前処理:欠損値や一貫性のない値を処理するためのデータクリーニングや、分析のためにデータを正規化または集約するためのデータ変換が含まれる。また、データセットを充実させるために、この段階でデータ拡張を行うこともできる。
3. パターンの発見とモデリング：アルゴリズムを適用してパターンを特定する。一般的なタスクには、分類、クラスタリング（K-Means）、回帰、アソシエーションルールのマイニングなどがある。これはMLアルゴリズムが最も多用される段階である。
4. 評価と解釈：発見されたパターンの妥当性と有用性を評価する。データの可視化は、発見を理解しやすくするための重要なツールである。
5. 知識の展開：発見された知識を、レコメンデーションエンジンや不正検知システムなどの運用システムに統合する。

実世界でのAIとコンピュータ・ビジョンの応用

データマイニングは、多くの産業においてインテリジェントなシステムを開発するための基本である。

• 小売業とマーケットバスケット分析におけるAI：小売企業は膨大な取引ログを調査し、どの商品がよく一緒に購入されているかを発見する。例えば、パンを購入する顧客は牛乳もよく購入する（アソシエーション・ルール）ことを発見することで、商品配置戦略、販促バンドル、ターゲット広告に役立てることができる。このような顧客行動の分析は、パーソナライズされたレコメンデーション・システムにも活用されている。AIがどのように小売の効率化を実現しているか、詳しくはこちらをご覧ください。
• 医用画像解析:ヘルスケアにおけるAIでは、データマイニング技術が、脳腫瘍データセットのような大規模な医療記録や画像データセットに適用される。このデータをマイニングすることで、研究者は特定の画像特徴や患者の属性と疾患とを結びつけるパターンや相関関係を特定することができる。これは腫瘍検出のような診断モデルの構築に役立ち、国立衛生研究所（NIH）のような組織が医学を発展させるのをサポートする。

データマイニングと関連概念

データマイニングを他の関連するデータサイエンス用語と区別することは重要である。

• 機械学習 (ML):この2つの用語はしばしば同じ意味で使われるが、両者は別物である。データマイニングは、データから知識を発見する広範なプロセスである。機械学習は、パターンを見つけるためにデータマイニングプロセスでよく使われる技術やアルゴリズム（教師あり学習、教師なし学習など）の集合体である。要するに、MLはデータマイニングの目標を達成するためのツールである。
• データ分析:データ分析とは、データセットを調査して結論を導き出し、意思決定を支援することに焦点を当てた、より広い分野である。データマイニングはデータ分析の特定のサブセットであり、これまで知られていなかったパターンを発見することに重点を置いています。
• ビッグデータ:この用語は、膨大かつ複雑で、急速に増大するデータセットそのものを指す。データマイニングは、ビッグデータから価値を引き出すために適用されるプロセスである。ビッグデータの課題（量、速度、多様性）は、多くの場合、Apache Hadoopエコシステムのような特殊なデータマイニングツールを必要とする。
• ディープラーニング (DL):ディープラーニングは、多くの層を持つニューラルネットワークを使用する機械学習の専門分野です。Ultralytics YOLOで使用されているようなDLモデルは、画像のような生データから自動的に特徴抽出を行うことができ、これはコンピュータビジョン（CV）のデータマイニングワークフローの中で強力な機能です。Ultralytics HUBのようなプラットフォームは、データセットの管理からモデルのトレーニングまで、プロセス全体を効率化します。