Link and Motivation Developers' Blog

リンクアンドモチベーションの開発者ブログです

デザインチームで「ChatGPT合宿」を実施しました!

こんにちは!リンクアンドモチベーションでUXデザイナーをしている辻井です!

今週、デザインチームで3日間にわたって、「ChatGPT合宿」を実施しました!今日はその内容についてお伝えできればと思います。

Gatherを使って、オンラインで実施しました!

そもそも、なぜ合宿をやることになったのか?

ChatGPTを筆頭に、AI関連の新たなサービスや活用法の情報が連日飛び交う中。

「これらの技術をフル活用して、デザインプロセスを劇的に変えられないか?」

という問いがデザインチームの中で立ちました。SNSなどで機能概要や実践例は数多く目にしていたものの、自分たちのチームでどのように適用できるのかは未知数。「実際に触って検証しながら、プロセスをアップデートしよう」という話になりました。

しかし、こういった取り組みが陥りやすい"あるある"として、

  • なんだかんだ業務が忙しくて時間が取れない
  • 人が出たり入ったりして、場がまとまらない
  • 「いつかやろう」というステータスのまま、ずるずると先延ばし

といった展開が思い浮かび、「いっそ、合宿という形式で思いっきり時間を取ってやってみよう!」となった訳です。

合宿の概要

4月上旬に合宿の実施が決まり、各自のタスクや開発状況を鑑みながら、以下のような形式で実施する運びとなりました。

  • 4/24〜27の4日間、13:00-17:30で実施
  • インハウスデザイナー5名、全員がフルで参加する
  • タスクはそれ以外の時間で終わらせ、会議もブロックする

それぞれに開発タスクを抱えている中、丸4日間にわたって午後の時間をブロックするというのは、かなり大きな投資となります。協働するチームメンバーにも事情を説明し、丁寧に前捌きをすることで、全員が時間を捻出することができました。

当初計画していた合宿のタイムラインは以下の通りです。

  • 【Day1】世の中の事例の収集、デザインプロセスの整備
  • 【Day2】架空ケースでChatGPTを活用、プロンプトのブラッシュアップ
  • 【Day3】実際の開発事例でChatGPTを活用、プロセスにプロンプトを組み込み
  • 【Day4】要件定義書やWBSなどへの埋め込み、運用ルールの決定

「情報収集」→「ChatGPTを実際に使う」→「プロセスに埋め込み」という流れで進めていきました。自分たちで使った上で、日々の業務で使える状態まで持っていくことをゴールに定めました。

「気づいてみると、なんだかんだ使えていない」「過去慣性で、従来のやり方を踏襲してしまっている」といった事態を避けるべく、「どのプロセスで、どのプロンプトを使うのか。利用状況をどのようにモニタリングするのか」といった詳細部分までFIXすることを最終ゴールとしました。

結果的には、やりたかったことを3日間で完遂できたので、全3日間の実施で合宿を終えました。以下、具体的な取り組みについて大まかに見ていきたいと思います。

Day1:情報収集とデザインプロセスの整備

まずは幅広く情報収集しようということで、全員でTwitterやnoteを片っ端から読み漁り、めぼしい記事をどんどん共有しました。1.5時間くらいかけて、記事の収集と読み込みを行い、「どのプロセスで有効に使えそうか?」「使ってみたいプロンプトはあるか?」を整理していきました。

集めた記事は、スプレッドシートで一覧化

続いて、「ChatGPTの使いどころ」を見極めるべく、デザインプロセスの一覧化とタスクの具体化を行いました。プロセスを整理することで、「実際にどこでChatGPTを使うべきなのか」を検証しやすくすることが狙いです。

時系列のフローに沿って、プロセスとタスクを一覧化

初日の取り組みはここまで。まとまった時間をとって、全員で黙々とインプット&情報共有をする形式は、前提情報のすり合わせとして効果的でした。

  • 一般論や全体観に強みがあり、個別具体の検討や意思決定は苦手
  • クライアントワークの新規立ち上げが最もパフォームするのでは?
  • 事業会社の既存プロダクトだと、活用しづらいかも?
  • 課題の原因や対応策の洗い出し、コピーのブレストなどは本当に心強い
  • いきなりChatGPTのアウトプットを見ると、確からしくて思考が止まりそう

といった感想をチームでシェアして終了となりました。

Day2:架空ケースでの検証

ChatGPTを利用する上での注意点として、「自社のノウハウやデータベースなどをそのまま入力すると、学習データとして活用されてしまう」という点があります。学習データとして利用されることを回避する上では、スプレッドシートなどを活用してAPI経由でChatGPTを利用することが必要となります。(API経由でも、OpenAIへのデータ送信は発生するので、顧客関連の機密情報などは入力しないようにしています。)

しかし、API経由での利用は都度課金されてしまうため、「すべての検証をAPI経由で行うのは、コストパフォーマンスが悪い」という結論に達しました。そこで、「そもそもデザインプロセス上で、各プロンプトがどのように機能するのか」を検証するフェーズは、「架空のケース」で実施することにしました。

「学校の先生向けの、業務効率化サービス」をテーマに、市場調査からユーザーニーズの具体化、機能一覧やジャーニーの検討までをChatGPTで行いました。

教育現場でDXが進まない要因、想像以上に的確な情報提供

市場調査やサービスアイデアの検討については、かなり有効な回答が得られました。教育系の事業に関わっていたメンバーからも、「この課題設定は相当筋が良い」「サービスアイデアも、先生のペインに寄り添ったものになっている」という声が上がっており、プロダクト開発の最上流工程においては、強力な武器となりそうです。

サービスアイデアも、具体的で実用性のありそうな案ばかり

こういった「構造的な課題整理」や「アイデアの発散」についてはパフォーマンスが高かったのですが、一方で「もっともクリティカルな課題の特定」や「一番インパクトの出るサービスの提案」といったテーマになると、精度が落ちる結果となりました。課題の真因や、複雑系を正しく捉えているわけではないので、こういった思考・判断はまだ人間の領域となりそうです。(プロンプト次第で、のびしろはあると思いますが…!)

想像以上の手応えを得られたのは、「擬似インタビュー」でした。設定文で架空の人物像を与え、その人物に対して質問を投げかけたところ、相当リアリティのある回答が得られました。

疑似インタビューの様子。プロンプト次第で、もっと情報を引き出せそう

「N=1のリアルな情報からインサイトを抽出する」といった用途には向きませんが、業界の課題感や特定の職種・職業についての解像度を上げるための壁打ち相手としては、一定機能しそうです。

最終的には「生徒管理システム」を題材に、「機能一覧」「サイトマップ」「画面フロー」「各画面の要素一覧」などを出力してもらったのですが、こちらも非常に精度が高く、一旦の叩き台を作るための参考材料としては十二分に機能しそうでした。

架空システムの機能一覧についての出力。網羅的に検討してくれる

一日を通しての発見は以下の通りでした。

  • プロダクト側の機能整理や要件の検討、要素の洗い出しは極めて優秀
  • 擬似インタビューも、プロンプト次第で一定機能する
  • 具体的なユーザーの行動や思考については、精度が下がる

だいぶ使いどころが見えてきました。
3日目、実際の開発要件について、検証していきます。

Day3:自社サービスでの検証

最終日となった3日目。この日は、自社サービスで直近取り組んだ「実際の開発物」について、課題整理や要件定義、デザイン検討をChatGPTで進めていく予定でした。

しかし、ここで想定外のトラブルが二つほど。

  1. API経由だと、所要時間が30秒をこえる入力がエラーになってしまう
  2. GPT-4とGPT-3.5の性能差が大きく、4の回数制限に引っかかると検証が止まる

これらの状況を踏まえ、具体的な情報を伏せた状態で、ブラウザ上でChatGPTのモデルとしてGPT-4を利用する形で進めることとしました。

今、自分が担当している「ストレッチクラウド」という管理職の成長を支援するクラウドサービスでは、最近オンボーディング機能を搭載しました。(初めてログインしたユーザーに、サービスのコンセプトやベネフィットを伝える機能)

この機能を題材に、オンボーディングの要件を検討してみました。

「機能」「画面」「メッセージ」について、それぞれ出力してくれる

上記画像のように、出力項目を工夫することで、かなり具体的かつ実用的な情報を引き出せることが分かりました。機能だけではなく、画面構成や各画面で伝えるメッセージまで出力してくれます。

さらには、「こんなメッセージを伝えるイラストを掲載したい」という依頼に対しても、「イラストのレイアウトや構成」に関するアイデアを返してくれました。この出力を他のAIにインプットすれば、伝えたいメッセージさえ決めればイラストを生成することが可能になるでしょう。

イラストのアイディアについても、"文字"で丁寧に提案してくれる

さらに、この日の中で一番沸いたのは、「機能に関する仕様の所見」を聞いたタイミングでした。「こんな観点で迷ってるけど、どう思う?」という質問に対して、フラットかつ建設的に論点をまとめ、具体的な提案を返答してくれました。加えて、「他に論点はあるか?」という質問を重ねると、網羅的に考えるべきイシューを洗い出してくれました。要件の大枠が見えてきたタイミングでの、この活用法には、大きな可能性を感じました

悩んでいるイシューについて相談すると、真っ当な提案が返ってくる

一通りプロセスに沿って検証できたため、ビジネスプロセスに沿って「実用的だったプロンプト」をマッピングしました。特に優秀だったものは赤字で色分けをして、プロセスごとにパッと参照できるように整えました。

プロセスに沿って、プロンプトをマッピング

最後に、要件定義書やWBSの中にも、「ChatGPTを用いた壁打ち・検証」を必須タスクとして記載し、ワークフローに埋め込むところまで実施して合宿を終えました。

ChatGPT合宿を経ての学びと感想

学び
  • ChatGPTは得意/不得意が明確
  • プロンプトと工夫次第で、出力は激変する
  • GPT-3.5とGPT-4の性能差、想定以上にエグい
  • 同じプロンプトでも出力が全然変わったりする(ここのボラティリティが、実はかなり高い)
  • 収束よりも発散の方がパフォームする
  • 個別具体より、普遍的な一般論に強み

詰まるところ、使う側の人間の力量が問われていることを痛感しました。
何者として、どのタイミングで、どのような依頼を出すのか。使い方次第で、パフォーマンスに天と地ほども差が出ることを、身をもって実感しました。

感想
  • 自分で触ってみないと、実態は分からない
  • 触り続ける中で、使いどころが見える
  • 筋の良いプロンプトも、徐々に見当がついてくる
  • GPT-4のリソースで争いが起こる
  • 指示が悪いと正しく動けないのは、かなり人間っぽい
  • 気付くと出力待ってる間に「頑張れ」って言ってる
  • プロンプトには、リスペクトと願いを込めるべき

自分たちで触ったからこそ得られたものが、本当にたくさんあったように思います。画面越しで、どこかの誰かの実践をインプットしているだけでは、気付けなかったものばかりでした。

今回の合宿、あくまでも土台を整えるところまでで、ここからが本番です。日々の業務の中で試行錯誤して、ブラッシュアップをしながらデザインのプロセス・アウトプットを研ぎ澄ませていきたいと思います。

 

気づけば、とんでもない長文となってしまいました。
最後までお読みいただき、ありがとうございました!