GitHub Copilotの効果を測定！アンケート結果を公開 (リンクアンドモチベーションテックブログ)

はじめに

イネーブリングチームの伊藤です。
開発生産性の向上をメイン業務としており、昨年導入したGitHub Copilotの利用状況に関してアンケートを実施したのでその結果を公開します!!

アンケート実施背景

当社では、GitHub Copilotの導入から約半年が経過しました。
このタイミングで、その効果を測定するためにアンケートを実施しました。
主な目的は、今後のプログラムの継続や利用メンバーの拡大に関する意思決定のための情報収集です。また、他社のテックブログで見かけるアンケート結果を参考に、同様の質問項目を用いて他社との比較を行う目的もありました。

Sansan における GitHub Copilot の利用状況について - Sansan Tech Blog

GitHub Copilotの全社導入とその効果 - ZOZO TECH BLOG

GitHub Copilotの導入がニフティの開発生産性に与えた影響 - NIFTY engineering

KAG開発業務における生成AIの活用 ~GitHub Copilot活用状況・導入効果と今後の展望について語りたい！！！~ | KDDI Engineer Portal

GitHub Copilot導入の背景

GitHub Copilotは2022年に公式リリースされました。最初は一部のメンバーが個人的に利用していた程度でしたが、リリース後にその精度が注目され、当社でも2023年の初頭から試験的に導入を決定しました。試験導入フェーズでは、一部のメンバーにのみ絞り、GitHub Copilotの利用を開始しました。
この試験利用からは、生産性の向上や効率化に対する肯定的な意見が多く挙がりましたが、一方で懸念や改善点に関する否定的な意見も存在しました。他社の導入事例もまだ少なく、判断に悩む部分もありましたが、最終的には全エンジニアへの導入を決定しました。

エンジニアに Github Copilot配られた！
Hey, GithubとかCopilot CLIとかも今後が楽しみ
(久々に出没)
— Oden (@haruka_odenkun) 2023年3月17日

わあ、会社でcopilot支給された(このまえ自分で年払いしちゃった〜〜😇
— Hodaka Umehara (@ipeblb) 2023年3月17日

早速、Copilotが配布された！
めちゃくちゃ便利！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！#リンクアンドモチベーション #モチベーションクラウド
— えがちゃん / 江上真人 (@MasatoEgami) 2023年3月17日

アンケート結果

利用者背景

一週間の中で、コーディングを行った日数を教えてください

一週間の中で GitHub Copilotを利用した日数を教えてください

一日の仕事の中でコーディングに費やす時間を教えてください

生産性に与える影響

GitHub Copilotの利用で、一日あたりどれくらいの時間を節約できたと感じますか？

GitHub Copilotを使用することでより生産的になったと感じますか？

GitHub Copilotを使用することでより早くタスクを完了できるようになった

GitHub Copilotを使用することで検索にかかる時間が短縮された

利用者の感じた効果

GitHub Copilotを使用するとコーディング時のイライラが軽減される

GitHub Copilotを使うことで仕事に充実感を感じられるようになった

GitHub Copilotを使用することで繰り返し作業をより迅速にこなすことができるようになった

GitHub Copilotを使うことでより満足度の高い仕事に集中できるようになった

GitHub Copilotを使用することでフロー状態（作業に没頭し集中できる状態）に入りやすい

GitHub Copilotを使用すると繰り返し作業に費やす精神的な負担が軽減された

今後の利用について

今後もGitHub Copilotを利用したいと思いますか？

その他ツールの利用について

GitHub Copilotの中でもChatやCLIも利用できている

GitHub Copilot以外で他に日常的に使っている生成AIツールはありますか？
- ChatGPT (50%)
- Cursor (17%)
- その他
  - Claude, Bard, Builder.io, Warp AI

openai.com cursor.sh claude.ai bard.google.com www.builder.io www.warp.dev

アンケート結果のまとめ

アンケート結果によると、利用者の大多数がGitHub Copilotによって1時間/日の時間節約を実感しています。
具体的には、69.4%の人が1日あたり1時間以上の時間節約ができたと感じているとのことです。
一方で、コーディング作業が少ない人々やSREやデータエンジニアなど特定の職種の一部では、時間節約の実感が少なかったという意見もありました。
アンケートの設計上、時間節約を1時間刻みでしか選択できなかったため、「30分程度は早くなった」と感じる意見もあったようです。
また、75%の人がコーディング時のイライラが減少したと回答し、80.6%がタスクの完了速度が上がったと感じているという結果も得られました。

これらの結果を踏まえると、月額$19のコストであれば、時間節約やタスク完了の迅速化という点で十分にコストパフォーマンスが高いと言えそうです。

他にも日常的に使っている生成AIツールとしては多くのメンバーがChatGPTを利用していることがわかりましたが、
ちょうど先日弊社でもChatGPTのTeamプランの導入が開始したので、これまでは学習を避けるために相談できていなかった部分に関しても、今後は積極的に利用していきたいと思います。

リンモチ、ChatGPT Teamを導入しました！ - Link and Motivation Developers' Blog

また他社様のブログでも60-80%のメンバーが1日あたり30分から1時間程度の削減を実感しているという結果が出ていることから、弊社でも同様の結果が出ていることがわかりました。