こんにちは、リンクアンドモチベーションのデータサイエンティストの東山と芦田です。
今回、先日発表されたMicrosoft Fabricを検証してみたので、そのレポートを行おうと思います。
先に率直な感想ですが、すごい時代が来たなぁと言う感じです！
(削減できた工数を先に知りたい方はFabricの効能を参照)
Microsoft Fabricとは？
Microsoft Fabric は、データの移動からデータ サイエンス、Real-Time Analytics、ビジネス インテリジェンスまでをカバーする企業向けのオールインワン分析ソリューションです。 データ レイク、データ エンジニアリング、データ統合など、包括的なサービス スイートを 1 か所で提供します。
とのことで、データの集積から分析、モデリング、レポーティングまで、オールインワンで行えるデータ分析のプラットフォームです。
その中心的な概念としてOneLakeというデータレイクがあり、散り散りになっているデータをここに集めてしまえば、ETLやらモデリングやらレポーティングまで、FabricのUIを離れることなくできるというむちゃくちゃ嬉しい体験ができます。
なぜFabric？
弊社は現在、20年以上に渡るコンサルティングナレッジをもとに、ChatGPTに代表されるLLMを用いてサービス改善をどんどんおこなっております。
また将来的には、LLMに限らず業務データ、コンサルティング事例、エンゲージメントデータを活用してAIによる職場のcopilotを作成し、あらゆる組織と個人の成長エンジンになることを目指しています。
そのためにも多くのデータ分析やPoCを実施しないといけません。 この効率化のためになにか良いものをと探していたところ、出会ったのがFabricでした。
Fabricでやったこと
まずは自分のチームの組織改善をデータに基づいて実施しよう！ということで、業務チャットを分析し、独自にスコアを作成してダッシュボードにしてみました。
これまでの開発では、データ加工したり、スコアリングのモデルの推論結果をBIで扱えるようにしたり、共有のためにダッシュボードを作ったり、という工程を別々のシステムでおこなってました。
それがFabricだと、Fabricひとつで下図のようなパイプラインを作るだけです。
面白いなと思ったのはCSVファイルについてもOneLakeにロードすることで下図のようなGUIでJOINをできることでした。
これならエンジニア以外にもかなりハードルが下がりますね。
モデルの推論結果をもとにコンディションの可視化のために下図のようなダッシュボードを作成しました。 これも30分ほどの作業です。
Fabricの効能
いろいろと細かいところを書いてしまったので、端的に削減できた工数をまとめてみました。
| 作業 | Before | After |
|---|---|---|
| データ更新 | 1h | 0.25h |
| 取得したデータをNotebookで扱えるように加工 | 1.5h | 0.25h |
| Notebookから算出したデータをダッシュボード用に加工 | 1h | 0h (作業自体なくなった) |
| データを可視化するダッシュボード作成 | 3h | 0.5h |
特別なインフラ整備などをすることなくデータフローの整備を行うことができたのは驚きの体験でした。
Fabricが5月下旬のリリースだったので、まだあまりネット上に情報が揃っていなかったのですが、キャッチアップの時間も含めて1~2日程度の作業時間で整備できて、この速度感は本当にすごいです。
今後の展望
今回はFabricの記事ですので、その使用感をレポートしましたが、本来的にはこれを使って良い成果を出すことが目的です。
チーム内で検証を進めた、業務チャットを活用したコンディション可視化も引き続きしっかりと磨きこみ、より多くの方に価値を届けられるようにしていきたいと考えています。その過程でFabricのような試行錯誤を促進できるツールを積極的に活用していこうと思います！
最後までお読みいただきありがとうございました！！
- 当初は勘違いしたのですが、Azure Service Fabricとは別サービスです。↩
