Wenn du eine Copilot-Testversion ausführst, besteht der Schlüssel zum Erfolg im Verstehen, wie Teams Copilot einführen und verwenden. Durch die Kombination der Erkenntnisse aus dem Copilot-Nutzungsmetriken-Dashboard und der API können Sie die ersten Ergebnisse bewerten, den Bedarf an Verbesserungen ermitteln und entscheiden, ob Sie die Einführung ausweiten möchten.
In diesem Tutorial lernen Sie:
- Definieren Sie klare Testziele und Erfolgskriterien.
- Anzeigen und Interpretieren von Einführungs- und Einsatzdaten im Dashboard.
- Bewerten Sie Ihre Testergebnisse.
- Integrieren Sie qualitatives Feedback von Entwicklern.
- Erweitern Sie Ihre Auswertung über die Copilot Nutzungsmetriken-API.
- Entscheiden Sie, ob das Rollout erweitert werden soll.
Schritt 1: Definieren Ihrer Testziele
Bevor Sie Metriken analysieren, entscheiden Sie, welche Ergebnisse eine erfolgreiche Testversion für Ihre Organisation definieren. Das Festlegen klarer Ziele erleichtert die Interpretation von Ergebnissen und die Kommunikation von Werten an die Projektbeteiligten.
| Beispielziel | Wie der Erfolg aussieht | Verknüpfte Metriken |
|---|---|---|
| Einführung | Die meisten lizenzierten Entwickler aktivieren und verwenden Copilot regelmäßig. | Gesamtzahl der aktiven Benutzer, tägliche aktive Benutzer (DAU), wöchentlich aktive Benutzer (WAU) |
| Bindung | Entwickler erkunden mehrere Features und Modi. | Anforderungen pro Chatfunktion, Agentakzeptanz |
| Produktivität und Zufriedenheit | Entwickler melden Effizienzgewinne und Vertrauen in Vorschläge. | Akzeptanzrate, internes Feedback, Zufriedenheitsumfragen |
| Aktivierungseffektivität | Teams verstehen, wie und wann Copilot eingesetzt werden kann. | Breite der Verwendung über Sprachen und IDEs hinweg |
Schritt 2: Anzeigen von Einführungs- und Engagementmetriken im Dashboard
Das Dashboard zeigt 28 Tage aggregierte IDE-Telemetriedaten für alle lizenzierten Benutzer an. Konzentrieren Sie sich während der Testversion auf diese wichtigen Metriken :
| Metric | Was es zeigt | Warum das wichtig ist |
|---|---|---|
| Gesamtzahl der aktiven Benutzer | Anzahl der Entwickler, die Copilot mindestens einmal während des Testzeitraums verwendet haben. | Gibt die Lizenzaktivierung und die Gesamtreichweite an. |
| Tägliche aktive Benutzer (DAU) | Die Anzahl der eindeutigen Benutzer, die jeden Tag aktiv sind. | Zeigt frühzeitige Einführungstrends an – ob Interesse wächst, stabil oder rückläufig. |
| Agenteneinführung | Prozentsatz der aktiven Benutzer, die den Copilot-Agent verwendet haben. | Zeigt Tiefe des Engagements und der Erkundung über grundlegende Fertigstellungen hinaus. |
| Akzeptanzrate | Prozentsatz der akzeptierten Copilot-Vorschläge. | Spiegelt Relevanz und Vertrauen wider – Schlüsselindikatoren für Wert und Benutzerzufriedenheit. |
| Sprach- und Modellverwendung | Verteilung der verwendeten Programmiersprachen und -modelle. | Hilft dabei, zu ermitteln, wo Copilot den größten Nutzen teamübergreifend bietet. |
Verwendungsmetriken-Quellen für Copilot
Schritt 3: Bewerten der Testergebnisse
Vergleichen Sie Ihre Dashboarddaten mit Ihren Testzielen. Zu den allgemeinen Erfolgsindikatoren gehören:
| Ziel | Was zu messen ist | Anzeichen für Erfolg |
|---|---|---|
| Lizenzaktivierung | Gesamtzahl der aktiven Benutzer | 70 bis 90% von Testlizenzen zeigen die Nutzung innerhalb des ersten Monats an. |
| Nachhaltiges Engagement | Tägliche und wöchentlich aktive Benutzer | DAU und WAU stabilisieren oder erhöhen sich im Laufe der Zeit. |
| Breite der Nutzung | Anforderungen pro Chatfunktion, Sprachverwendung | Benutzer experimentieren in mehreren Sprachen und Features. |
| Tiefe der Nutzung | Agenteneinführung, Akzeptanzrate | Entwickler erforschen erweiterte Copilot Funktionen. |
| Positive Rückmeldungen | Teamumfragen oder internes Feedback | Entwickler melden Produktivitätsgewinne oder Workflowverbesserungen. |
Wenn mindestens ein Ziel nicht erfüllt ist, überlegen Sie, ob vor dem Erweitern des Rollouts möglicherweise zusätzliche Aktivierungs-, Kommunikations- oder IDE-Konfiguration erforderlich ist.
Schritt 4: Integrieren qualitativer Feedback
Während Die Akzeptanz und das Engagement quantitativ sind, helfen Ihnen Zufriedenheitsmetriken, wahrgenommenen Wert und Entwicklerstimmungen zu verstehen. Erwägen Sie die Einbeziehung der folgenden Feedbackquellen von außerhalb von GitHub, in Ihre Analyse.
| Quelle | Description |
|---|---|
| Copilot-Umfragen zur Zufriedenheit | Regelmäßiges Feedback von Entwicklern zu Nützlichkeit, Vertrauen und Produktivität. |
| Interne Feedbackkanäle | Team-Retrospektive oder Impulsumfragen zu Workflowänderungen und wahrgenommenen Geschwindigkeitsgewinnen. |
| Trends im Support | Weniger "Wie mache ich..." Fragen im Laufe der Zeit deuten oft auf erhöhtes Vertrauen und Zufriedenheit hin. |
Durch die Kombination von Nutzungsmetriken mit Entwicklerfeedback erhalten Sie die vollständigste Übersicht über die Auswirkungen von Copilot.
Schritt 5: Erweitern Sie Ihre Auswertung durch die Copilot-Nutzungsmetriken-API
Nach der Testversion können Sie die Akzeptanz und das Engagement weiterhin über die Copilot Nutzungsmetriken-API überwachen. Die API bietet Ihnen mehr Kontrolle darüber, welche Daten Sie sammeln und wie oft Sie sie analysieren.
Abrufen unternehmensweiter Daten
Sie können die Copilot API-Endpunkte für Nutzungsmetriken verwenden, um 28-Tage-Nutzungsberichte für Ihr Unternehmen herunterzuladen. Diese Berichte enthalten denselben Datensatz, der auch im Copilot-Nutzungsmetriken-Dashboard angezeigt wird. Die API stellt zwei Endpunkte bereit.
| Endpunkt | Description |
|---|---|
GET /enterprises/{enterprise}/copilot/metrics/reports/enterprise-28-day/latest | Gibt einen signierten Downloadlink für den neuesten 28-Tage-Nutzungsbericht auf Unternehmensebene zurück. |
GET /enterprises/{enterprise}/copilot/metrics/reports/users-28-day/latest | Gibt einen signierten Downloadlink für den neuesten 28-tägigen Nutzungsbericht auf Benutzerebene zurück. |
Jede Endpunktantwort enthält zeitlich begrenzte signierte URLs zum Herunterladen der Berichte aus Azure Blob Storage sowie den Berichtszeitraum, der von der Datei abgedeckt wird.
Beispielantwort:
{
"download_links": [
"https://example.com/copilot-usage-report.json"
],
"report_start_day": "2025-07-18",
"report_end_day": "2025-08-14"
}
Vollständige Felddefinitionen finden Sie unter GitHub Copilot-Nutzungsmetriken.
Automatisieren Der Berichterstellung
Um Ihre Berichterstellung zu automatisieren, können Sie einen geplanten Auftrag einrichten, um die API in regelmäßigen Abständen (z. B. täglich oder wöchentlich) aufzurufen und die Ergebnisse in einer Datenbank oder data warehouse zur weiteren Analyse zu speichern. Auf diese Weise können Sie Trends im Laufe der Zeit nachverfolgen und benutzerdefinierte Berichte nach Bedarf generieren.
Schritt 6: Entscheiden, ob das Rollout erweitert werden soll
Verwenden Sie Ihre Ergebnisse aus dem Dashboard und API-Daten, um eine fundierte Entscheidung über die Erweiterung der Copilot Nutzung zu treffen.
| Entscheidungsbereich | Wichtige Fragen | Unterstützende Metriken |
|---|---|---|
| Einführung | Sind die meisten Testbenutzer aktiv? Haben sie Copilot konsequent verwendet? | Gesamtzahl der aktiven Benutzer, Tägliche Aktive Nutzer (DAU), Wöchentliche Aktive Nutzer (WAU) |
| Aktivierungsanforderungen | Benötigen Teams weitere Anleitungen oder Ressourcen? | Niedrige oder inkonsistente Verwendung über Sprachen oder Modelle hinweg |
| Bindung | Untersuchen Entwickler Funktionen und Möglichkeiten über grundlegende Vervollständigungen hinaus? | Agentakzeptanz, Chatanfragen pro Feature |
| Befriedigung | Finden Teams Copilot wertvoll? | Akzeptanzrate, Feedback aus Umfragen |
Dokumentieren Sie Ihre Ergebnisse, und teilen Sie sie mit den Projektbeteiligten zusammen, um die nächste Phase Ihres Rollouts zu informieren.
Nächste Schritte
Nachdem Sie nun wissen, wie Sie den Erfolg Ihrer Copilot Testversion messen können, können Sie die Akzeptanz und das Engagement weiterhin überwachen, während Sie die Nutzung erweitern. Weitere Informationen zur Förderung der Akzeptanz und zur Aktivierung von Entwicklern finden Sie unter Fördern der GitHub Copilot-Einführung in Ihrem Unternehmen.