【重点要約】
ユースケースを明確にしながらデータレイク層、データウェアハウス層、データマート層の構成を基本としデータ基盤を構築する。
データウェアハウス層ではマスタ、共通ID、履歴データの整備、スタースキーマ構成、共通指標、データクレンジング等でデータを活用できる形に整備。また、組織面からのアプローチとして、アセスメントから実施し、ビジョンを持って文化、組織構造、人材の整備をすることが重要。
【その他メモ】
・データウェアハウス層はデータレイク層、データマート層の後の構築も検討
⇒共通指標はマートを運用して見えてくることもある
・メタデータの管理はデータ生成者を巻き込む
・データスチュワード ⇒ 問い合わせ対応＋データ整備の推進
・フェデレーション ⇒ RedshiftやBigQueryでも可
・基幹系へのアクセス ⇒ キャッシュ汚染、長時間クエリ、一時ファイルによるディスク圧迫を考慮
・ETLの選定 ⇒ 提供形態、複雑な加工ができるか、デバッグしやすいか
複雑な加工：条件式指定、差分のみ収録、並列実行、更新ログ経由、マルチソース等
・分析用DB内でデータレイク層とデータウェアハウス層にわける
・非構造化データを分析用DBで管理は向かない ⇒ SQL発行しデータ取得後にファイルに書き込みのバッファ発生、ストレージコストを考慮
⇒VantageならS3利用可＋直接分析可能
・オンプレミスDWH ⇒ 分析目的が決まっていたり移行コストが足りない場合等、利用は限定的
・分析用DBの更新 ⇒ DELETEでなくDROP、UPDATEでなく全件新規登録＋テーブル入替、複数件まとめてロード等のオペレーションをする
・DX CriteriaのDataカテゴリをアセスメントに活用