Al ejecutar una prueba de Copilot , la clave para el éxito es comprender cómo los equipos adoptan y usan Copilot. Al combinar información del panel de métricas de uso y de la API de Copilot, puede evaluar los resultados anticipados, identificar las necesidades de activación y decidir si se desea expandir el lanzamiento.
En este tutorial se muestra cómo realizar las siguientes acciones:
- Definir objetivos de evaluación claros y criterios de éxito.
- Vea e interprete los datos de adopción e interacción en el panel.
- Evalúe los resultados de la prueba.
- Incorpore comentarios cualitativos de los desarrolladores.
- Amplíe la evaluación a través de la API de métricas de uso de Copilot.
- Decida si quiere expandir el lanzamiento.
Paso 1: Definir los objetivos de prueba
Antes de analizar las métricas, decida qué resultados definirán un ensayo exitoso para su organización. Establecer objetivos claros facilita la interpretación de los resultados y la comunicación del valor a las partes interesadas.
| Objetivo de ejemplo | ¿Qué aspecto tiene el éxito? | Métricas relacionadas |
|---|---|---|
| Adopción | La mayoría de los desarrolladores con licencia activan y usan Copilot con regularidad. | Total de usuarios activos, usuarios activos diarios (DAU), usuarios activos semanales (WAU) |
| Involucración | Los desarrolladores exploran varias características y modos. | Solicitudes por función de chat, adopción de agentes |
| Productividad y satisfacción | Los desarrolladores notifican mejoras de eficiencia y confianza en las sugerencias. | Tasa de aceptación, comentarios internos, encuestas de satisfacción |
| Eficacia de la habilitación | Equipos entienden cómo y cuándo usar Copilot. | Amplitud de uso entre idiomas e IDE |
Paso 2: Visualización de las métricas de adopción e interacción en el panel
- Vaya a su empresa. Por ejemplo, desde la página Empresas en GitHub.com.
- Haga clic en la pestaña Ideas.
El panel muestra 28 días de datos de telemetría agregados del IDE para todos los usuarios con licencia. Céntrese en estas métricas clave durante la prueba:
| Métrica | Lo que muestra | ¿Por qué es importante? |
|---|---|---|
| Total de usuarios activos | Número de desarrolladores que usaron Copilot al menos una vez durante el período de prueba. | Indica la activación de licencias y el alcance general. |
| Usuarios activos diarios (DAU) | Número de usuarios únicos activos cada día. | Revela las tendencias tempranas de adopción: si el interés está creciendo, estable o disminuyendo. |
| Adopción de agente | Porcentaje de usuarios activos que usaron agente de Copilot. | Muestra la profundidad de la interacción y la exploración más allá de las finalizaciones básicas. |
| Tasa de aceptación | Porcentaje de sugerencias de Copilot aceptadas. | Refleja relevancia y confianza: indicadores clave de valor y satisfacción del usuario. |
| Uso del lenguaje y del modelo | Distribución de lenguajes de programación y modelos usados. | Ayuda a identificar dónde Copilot ofrece el máximo valor entre equipos. |
Nota:
Las métricas de uso de Copilot reflejan la actividad solo en los IDE admitidos. El uso de chat de Copilot en GitHub.com, GitHub Mobile, revisión de código Copilot, o CLI de Copilot no está incluido en los datos del panel de control.
Paso 3: Evaluar los resultados de la prueba
Compare los datos del panel con los objetivos de prueba. Entre los indicadores de éxito comunes se incluyen:
| Objetivo | Qué medir | Señales de éxito |
|---|---|---|
| Activación de licencias | Total de usuarios activos | 70–90% de licencias de prueba muestran el uso en el primer mes. |
| Compromiso sostenido | Usuarios activos diarios y semanales | DAU y WAU estabilizan o aumentan con el tiempo. |
| Amplitud de uso | Solicitudes por característica de chat, uso de idioma | Los usuarios experimentan en varios lenguajes y características. |
| Profundidad de uso | Adopción de agente, tasa de aceptación | Los desarrolladores exploran las funcionalidades avanzadas de Copilot . |
| Comentarios positivos | Encuestas de equipo o comentarios internos | Los desarrolladores notifican mejoras de productividad o mejoras de flujo de trabajo. |
Si no se cumplen uno o varios objetivos, considere si es posible que se necesite más habilitación, comunicación o configuración del IDE antes de expandir el lanzamiento.
Paso 4: Incorporar comentarios cualitativos
Aunque la adopción y la participación son cuantitativas, las métricas de satisfacción le ayudan a comprender el valor percibido y la opinión del desarrollador. Considere la posibilidad de incorporar los siguientes orígenes de comentarios, desde fuera de GitHub, en el análisis.
| Fuente | Description |
|---|---|
| Encuestas de satisfacción de Copilot | Comentarios periódicos de los desarrolladores sobre la utilidad, la confianza y la productividad. |
| Canales de comentarios internos | Las retrospectivas del equipo o las encuestas rápidas sobre los cambios de flujo de trabajo y las percepciones de aumento de velocidad. |
| Tendencias de soporte técnico | Menos "¿cómo hago para...?" las preguntas a lo largo del tiempo suelen indicar mayor confianza y satisfacción. |
La combinación de métricas de uso con los comentarios de los desarrolladores ofrece la vista más completa del impacto de Copilot.
Paso 5: Amplíe la evaluación a través de la API de métricas de uso de Copilot
Después de la prueba, puede seguir supervisando la adopción y la participación a través de la API de métricas de uso de Copilot. La API proporciona más control sobre qué datos recopila y con qué frecuencia se analiza.
Recuperación de datos de toda la empresa
Puede usar los puntos de conexión de métricas de uso de Copilot para descargar informes de uso de los últimos 28 días para su empresa. Estos informes incluyen los mismos conjuntos de datos que se muestran en el panel de métricas de uso de Copilot. La API proporciona dos puntos de conexión.
| Punto final | Description |
|---|---|
GET /enterprises/{enterprise}/copilot/metrics/reports/enterprise-28-day/latest | Devuelve un vínculo de descarga firmado para el último informe de uso de nivel empresarial de 28 días. |
GET /enterprises/{enterprise}/copilot/metrics/reports/users-28-day/latest | Devuelve un enlace de descarga firmado para el informe de uso a nivel de usuario más reciente de 28 días. |
Cada respuesta del punto de conexión incluye direcciones URL firmadas con tiempo limitado para descargar los informes de Azure Blob Storage, junto con el período de informes cubierto por el archivo.
Respuesta de ejemplo:
{
"download_links": [
"https://example.com/copilot-usage-report.json"
],
"report_start_day": "2025-07-18",
"report_end_day": "2025-08-14"
}
Para obtener definiciones de campo completas, consulte métricas de uso de GitHub Copilot.
Automatización de los informes
Para automatizar los informes, puede configurar un trabajo programado para llamar a la API a intervalos regulares (por ejemplo, diarios o semanales) y almacenar los resultados en una base de datos o data warehouse para su posterior análisis. Esto le permite realizar un seguimiento de las tendencias a lo largo del tiempo y generar informes personalizados según sea necesario.
Paso 6: Decidir si quiere expandir el lanzamiento
Utiliza los resultados del panel y de los datos de la API para tomar una decisión informada sobre cómo expandir el uso de Copilot.
| Área de decisión | Preguntas que debe formularse | Métricas auxiliares |
|---|---|---|
| Adopción | ¿La mayoría de los usuarios de prueba están activos? ¿Han seguido usando Copilot de manera consistente? | Total de usuarios activos, DAU, WAU |
| Necesidades de habilitación | ¿Los equipos necesitan más instrucciones o recursos? | Uso bajo o incoherente entre lenguajes o modelos |
| Involucración | ¿Los desarrolladores exploran características más allá de las finalizaciones básicas? | Implementación del agente, solicitudes de chat por característica |
| Satisfacción | ¿Los equipos consideran valioso Copilot? | Tasa de aceptación, comentarios de encuestas |
Documente sus hallazgos y compártelos con las partes interesadas para informar a la siguiente fase del lanzamiento.
Pasos siguientes
Ahora que sabe cómo medir el éxito de la prueba Copilot, puede seguir monitorizando la adopción y la participación a medida que aumente su uso. Para más información sobre cómo impulsar la adopción y habilitar a los desarrolladores, consulte Impulsar la adopción de GitHub Copilot en su empresa.