Skip to main content

GitHub Copilot 試用版の成功を測定する

Copilot評価版の成功を測定するには、Copilotの使用状況メトリックを使用して、導入、エンゲージメント、初期の使用パターンを分析します。

この機能を使用できるユーザーについて

エンタープライズ所有者、組織管理者、課金マネージャー、"エンタープライズ Copilot メトリックの表示" アクセス許可を持つエンタープライズ カスタム ロールを持つユーザー。

Copilot試用版を実行する場合、成功の鍵となるのは、チームがCopilotを採用して使用する方法を理解することです。

Copilot使用状況メトリック ダッシュボードと API の分析情報を組み合わせることで、早期の結果を評価し、有効化のニーズを特定し、ロールアウトを拡張するかどうかを決定できます。

このチュートリアルでは、次の操作方法について説明します。

  1. 明確な試用版の目標と成功基準を定義します。
  2. ダッシュボードで導入データとエンゲージメント データを表示および解釈します。
  3. 試用結果を評価します。
  4. 開発者からの定性的フィードバックを組み込みます。
  5. Copilot使用状況メトリック API を使用して評価を拡張します。
  6. ロールアウトを展開するかどうかを決定します。

手順 1: 試用版の目標を定義する

メトリックを分析する前に、組織の成功した試用版を定義する結果を決定します。 明確な目標を設定すると、結果を解釈し、利害関係者に価値を伝えるのが簡単になります。

目標の例成功の様子関連するメトリック
養子縁組ほとんどのライセンスを持つ開発者は、 Copilot を定期的にアクティブ化して使用します。アクティブ ユーザーの合計数、毎日のアクティブ ユーザー (DAU)、週単位のアクティブ ユーザー (WAU)
エンゲージメント開発者は、複数の機能とモードについて調べる。チャットごとの要求機能、エージェントの導入
生産性と満足度開発者は、提案に対する効率性の向上と信頼を報告します。受け入れ率、社内フィードバック、満足度調査
有効化の有効性Teams は、 Copilotを使用する方法とタイミングを理解します。言語と IDE 全体の使用の幅

手順 2: ダッシュボードで導入とエンゲージメントのメトリックを表示する

データ再利用可能なエンタープライズアカウント.access-enterprise %}

  1. Insights タブをクリックします。

ダッシュボードには、すべてのライセンスユーザーの 28 日間の集計 IDE テレメトリ データが表示されます。 試用期間中は、次の 主要なメトリック に焦点を当てます。

メトリック表示される内容重要な理由
アクティブなユーザーの合計数試用期間中に少なくとも 1 回 Copilot 使用した開発者の数。ライセンスのアクティブ化と全体的なリーチを示します。
毎日アクティブなユーザー (DAU)毎日アクティブなユニークユーザー数。関心が高まっているか、安定しているか、減少しているかに関係なく、早期導入の傾向を明らかにします。
エージェントの導入
Copilot エージェントを使用したアクティブ ユーザーの割合。基本的な完了を超えたエンゲージメントと探索の深さを示します。
受け入れ率受け入れられた Copilot 提案の割合。関連性と信頼を反映します。価値とユーザー満足度の主要な指標です。
言語とモデルの使用使用されるプログラミング言語とモデルの配布。
Copilotがチーム全体で最も価値を提供する場所を特定するのに役立ちます。

メモ

Copilot 使用状況メトリックは、主にサポートされている IDE のアクティビティを反映します。 サーバー側テレメトリは、クライアント側の IDE テレメトリを補完して、追加のアクティブ ユーザーを表示します。 コパイロットチャット、GitHub.com、GitHub Mobile、またはCopilotコード レビューでのCopilot CLI (コパイロット CLI)の使用状況は、ダッシュボード データには含まれません。

ヒント

アクティブユーザーと DAU の合計数は、開発者が Copilot をまったく使用しているかどうかを示しますが、どの程度深く使用しているかは示しません。 完了からエージェント ワークフローに進む開発者など、試用の使用が時間の経過と同時に深まるかどうかを追跡するシグナルについては、 Copilot影響ダッシュボードの表示 を参照してください。

手順 3: 評価版の結果を評価する

ダッシュボード データを試用の目標と比較します。 一般的な成功インジケーターは次のとおりです。

目標測定対象成功の兆し
ライセンスのアクティブ化アクティブなユーザーの合計数70 ~ 90% の試用版ライセンスは、最初の 1 か月以内の使用状況を示します。
継続的なエンゲージメント毎日および毎週アクティブなユーザーDAU と WAU は、時間の経過と伴って安定または増加します。
使用の幅チャットごとの要求機能、言語の使用ユーザーは、複数の言語と機能で実験を行います。
使用の深さエージェントの導入、受け入れ率開発者は高度な Copilot 機能を探索しています。
肯定的なフィードバックチームアンケートまたは社内フィードバック開発者は、生産性の向上やワークフローの改善を報告します。

1 つ以上の目標が満たされていない場合は、ロールアウトを展開する前に、追加の有効化、通信、または IDE 構成が必要になる可能性があるかどうかを検討してください。

手順 4: 定性的フィードバックを組み込む

導入とエンゲージメントは定量的ですが、満足度メトリックは、認識される価値と開発者のセンチメントを理解するのに役立ちます。 外部からの次のフィードバック ソースを分析に組み込むことを検討 GitHub。

情報源Description
Copilot 満足度調査開発者から、有用性、信頼、生産性に関する定期的なフィードバック。
内部フィードバック チャネルワークフローの変化と認識される速度の向上に関するチーム振り返りまたはパルス調査。
サポートの傾向「どのようにすれば…」という質問が減ります。 時間の経過に伴う質問は、多くの場合、信頼と満足度の向上を示しています。

使用状況メトリックと開発者のフィードバックを組み合わせることで、 Copilotの影響を最も完全に把握できます。

手順 5: Copilot 使用状況メトリック API を使用して評価を拡張する

試用後も、 Copilot 使用状況メトリック API を使用して、導入とエンゲージメントの監視を継続できます。 この API を使用すると、収集するデータとその分析頻度をより詳細に制御できます。

エンタープライズ全体のデータを取得する

Copilot使用状況メトリック エンドポイントを使用して、企業の 28 日間の使用状況レポートをダウンロードできます。 これらのレポートには、 Copilot 使用状況メトリック ダッシュボードに表示されるのと同じデータセットが含まれます。 API には 2 つのエンドポイントが用意されています。

エンドポイントDescription
GET /enterprises/{enterprise}/copilot/metrics/reports/enterprise-28-day/latest最新の 28 日間の エンタープライズ レベル の使用状況レポートの署名付きダウンロード リンクを返します。
GET /enterprises/{enterprise}/copilot/metrics/reports/users-28-day/latest最新の 28 日間の ユーザー レベル の使用状況レポートの署名付きダウンロード リンクを返します。

各エンドポイント応答には、Azure Blob Storageからレポートをダウンロードするための時間制限付き署名付き URL と、ファイルの対象となるレポート期間が含まれます。

応答の例:

{
  "download_links": [
    "https://example.com/copilot-usage-report.ndjson"
  ],
  "report_start_day": "2025-07-18",
  "report_end_day": "2025-08-14"
}

完全なフィールド定義については、 GitHub Copilot の使用状況メトリクス を参照してください。

レポートを自動化する

レポートを自動化するには、スケジュールされたジョブを設定して、API を一定の間隔 (毎日、毎週など) で呼び出し、結果をデータベースまたはdata warehouseに格納して詳細な分析を行うことができます。 これにより、時間の経過に伴う傾向を追跡し、必要に応じてカスタム レポートを生成できます。

手順 6: ロールアウトを展開するかどうかを決定する

ダッシュボードと API データの結果を使用して、 Copilot 使用状況の拡張に関する情報に基づいた意思決定を行います。

決定領域確認事項メトリクスを支援する機能
養子縁組ほとんどの試用版ユーザーはアクティブですか? 彼らは一貫して Copilot を使用し続けていますか?アクティブ ユーザーの合計数、DAU、WAU
有効化のニーズチームには、さらに多くのガイダンスやリソースが必要ですか?言語またはモデル間での使用量が少ない、または一貫性がない
エンゲージメント開発者は基本的なコード補完を超えて他の機能を探求しているのでしょうか?エージェントの導入、機能ごとのチャット要求
満足度チームはCopilotを有益だと感じていますか?受け入れ率、アンケートからのフィードバック

調査結果を文書化し、関係者と共有して、ロールアウトの次のフェーズを通知します。

次のステップ

Copilot試用版の成功を測定する方法がわからなくなったので、使用量を拡大するにつれて、引き続き導入とエンゲージメントを監視できます。 導入の促進と開発者の有効化の詳細については、 会社GitHub Copilot の導入を促進する を参照してください。 導入の浸透度を追跡し、試用段階を超えて本格展開する中で支出をプルリクエストの成果に結び付けるには、Copilot影響ダッシュボードの表示 を参照してください。