はじめに
2023年6月現在、私は3社のデータ活用をサポートしています。
その中で2社は、1人でデータ分析基盤からデータパイプライン構築・保守、レポートまで担当しています。
他にも多数のデータ分析基盤の立ち上げや拡張、データ活用をサポートしてきましたが、
「うまく軌道に乗るデータ分析基盤」には、共通して
「適切なルート」が存在していることに気づきました。
この記事では、そうした
- 「ここを目指そう」
- 「これはアンチパターン」
といった簡単な指標を解説しております。
想定読者
また、この記事では、
- 「データドリブン経営を実現したい」という経営層
- 「最初のデータ人材に迷っている」という採用担当者
- 「プロダクトを定量分析したい」という事業責任者
- 「データ分析基盤立ち上げフェーズ」に採用された最初のひとり
の方向けに解説しております。
最後まで読んでいただき、事業活動に活用いただけると幸いです。
向かう未来: データ活用により強力に事業成長を創出できる状態
データは、ヒト、モノ、カネに次ぐ第四の重要な経営資産として考えられています。
これを活用は強力なビジネス価値を生み出すことが可能なためなのですが、
具体的には、
- データ分析を通じて現状の理解や業務プロセスの改善
- 経営指標の把握
- 日常業務の支援
- 市場やユーザーの理解が深まり
- より精緻な意思決定
を実現していきます。
さらに、機械学習を活用することで、未来の予測や新しい機能の提供、付加価値の創出も可能となります。
- 時系列予測
- 異常検知
- レコメンデーション
- 自然言語処理(テキスト分類、機械翻訳、テキスト生成)
- 画像処理(画像分類、物体認識、画像生成)
- 音声処理(音声認識、音声合成)
などが含まれます。
避けたい未来:破綻するデータ分析基盤
- 「見られないダッシュボード」
- 「更新されないデータ」
- 「ダッシュボード間で数値がずれている」
- 「見たい時に見れないデータ」
- 「見てはいけないデータが見れる」
- 「仕様調査コストが発生する」
- 「データの正しさを確認するのに時間がかかる」
- 「誤集計に伴う業務ミスおよびそれのリカバリ業務や意思決定のミス」
- 「ビジネス要求に対応したデータがない」
などなど、あげればキリがありませんが、こうした未来はすべてデータ分析基盤の破綻に繋がってきます。
データ分析基盤にとって、ネガティブな要素が少しでも残っていると、アクティブに利用してくださる方が遠のき、衰退への道を辿る傾向があります。
ひとりで全部する
データ活用を運用し始めるまで、さまざま課題をクリアが必要で、データドリブン組織になるには時間がかかります。
例えば、
- データ分析
- ビッグデータ活用
- DWH構築(プロジェクト準備、クラウドインフラ用ロールの整備、テーブル設計)
- BI実装(ダッシュボード、レポート構築)
- マスタデータ管理
- ドキュメント・コンテンツ管理
- データ統合や運用性の考慮(データパイプライン構築、ETL処理)
- データセキュリティの検討
- データストレージと運用の検討
- データモデリングとデザインの検討
- データアーキテクチャ検討
- メタデータ管理
- データ品質管理
- データガバナンスを整える
ざっと上げたタスクでも、多くの作業が必要だとお分かりいただけるかと思います。
全部同時にやらない
「ひとりで全部する」と言いながら、全部やると流石に大変です
月並みですが、「やること」「やらなくて良いこと」を整理します。
ポイントは、
- スプレッドシートやExcelで何とか業務が回る
- RDBMSでも業務が回る
- それでも無理ならDWH(BigQuery、Redshift)を導入する
- スモールスタートできるLookerStudioやRedashなどのBIツールを導入する
- 基幹システム(人事、会計、販売)、アクセスログ、外部データをインポートする
- データサイエンティストはDWH導入以降の方が良い
というステップを踏むのがおすすめです。
特にAWSのRedshift、GoogleCloudのBigQueryなどのクラウド型のDWHは、業務システムとも連携しやすく、拡張性やスケーラビリティも高いため、多くの企業で採用される傾向にあります。
まとめ
データドリブンな組織を作るための第一歩を解説しました。
- データ活用は経営資産となり、ビジネス価値の創出に重要。これは、業務の改善、経営指標の把握、市場やユーザーの理解の深化、精緻な意思決定などを可能にします。
- データ分析基盤が破綻すると、ビジネス上の重大な問題を引き起こす可能性があるため、データ分析基盤の健全性を維持することが重要。
- データ活用のためには様々な課題をクリアする必要があり、一人で全てを行うのは困難。タスクの整理と、必要なことを段階的に進めていくスモールスタートを推奨。
- クラウド型のデータウェアハウス(DWH)の導入は、データ活用を効率化するための重要なステップであり、ビジネスシステムとの連携や拡張性、スケーラビリティが高いため多くの企業で採用。
さいごに
上記いかがだったでしょうか?
データ分析基盤の構築は、長期に渡り、事業と共に成長させる必要があります。
技術的な観点や人材マネジメント含め、無料でご相談可能ですので、ぜひお声かけください。