Ao executar uma avaliação do Copilot, o segredo para o sucesso é entender como as equipes adotam e utilizam o Copilot. Combinando insights do painel de métricas de uso e da API do Copilot, é possível avaliar os resultados iniciais, identificar as necessidades de ativação e decidir se deseja ampliar a implementação.
Este tutorial mostra como:
- Defina metas de avaliação claras e critérios de êxito.
- Exiba e interprete dados de adoção e envolvimento no painel.
- Avalie os resultados do teste.
- Incorpore comentários qualitativos de desenvolvedores.
- Estenda sua avaliação por meio da API de métricas de uso Copilot .
- Decida se o lançamento deve ser ampliado.
Etapa 1: Definir suas metas de avaliação
Antes de analisar as métricas, decida quais resultados definirão uma avaliação bem-sucedida para sua organização. Definir metas claras facilita a interpretação de resultados e a comunicação de valor aos stakeholders.
| Meta de exemplo | Como é o sucesso | Métricas relacionadas |
|---|---|---|
| Adopção | A maioria dos desenvolvedores licenciados ativa e usa Copilot regularmente. | Total de usuários ativos, DAU (usuários ativos diários), WAU (usuários ativos semanais) |
| Engajamento | Os desenvolvedores exploram vários recursos e modos. | Solicitações por recurso de chat, adoção de agente |
| Produtividade e satisfação | Os desenvolvedores relatam ganhos de eficiência e confiam em sugestões. | Taxa de aceitação, comentários internos, pesquisas de satisfação |
| Efetividade da capacitação | As equipes entendem como e quando usar Copilot. | Amplitude de uso entre idiomas e IDEs |
Etapa 2: Exibir métricas de adoção e engajamento no painel
O painel mostra 28 dias de dados de telemetria IDE agregados para todos os usuários licenciados. Concentre-se nessas principais métricas durante a avaliação:
| Métrica | O que ele mostra | Por que isso importa |
|---|---|---|
| Total de usuários ativos | Número de desenvolvedores que usaram Copilot pelo menos uma vez durante o período de avaliação. | Indica a ativação da licença e o alcance geral. |
| DAU (usuários ativos diários) | Número de usuários exclusivos ativos todos os dias. | Revela tendências de adoção precoces: se o interesse está crescendo, estável ou em declínio. |
| Adoção do agente | Porcentagem de usuários ativos que usaram o agente do Copilot. | Mostra a profundidade de engajamento e exploração além das conclusões básicas. |
| Taxa de aceitação | Porcentagem de sugestões de Copilot aceitas. | Reflete a relevância e a confiança — indicadores-chave de valor e satisfação do usuário. |
| Uso de linguagem e modelo | Distribuição de linguagens de programação e modelos usados. | Ajuda a identificar onde Copilot oferece o maior valor entre as equipes. |
Observação
As métricas de uso do Copilot} só refletem a atividade em IDEs com suporte. O uso em Chat Copilot} no GitHub.com}, no GitHub Mobile}, no Revisão de código com Copilot} ou no CLI do Copilot} não está incluído nos dados do painel.
Etapa 3: Avaliar os resultados do teste
Compare os dados do painel com suas metas de teste. Os indicadores comuns de êxito incluem:
| Goal | O que medir | Sinais de sucesso |
|---|---|---|
| Ativação da licença | Total de usuários ativos | 70 a 90% de licenças de avaliação mostram o uso no primeiro mês. |
| Engajamento sustentado | Usuários ativos diários e semanais | A DAU e a WAU estabilizam ou aumentam ao longo do tempo. |
| Amplitude de uso | Solicitações por recurso de chat, uso de idioma | Os usuários experimentam vários idiomas e recursos. |
| Profundidade de uso | Adoção de agentes, taxa de aceitação | Os desenvolvedores estão explorando recursos avançados do Copilot. |
| Comentários positivos | Pesquisas de equipe ou comentários internos | Os desenvolvedores relatam ganhos de produtividade ou melhorias no fluxo de trabalho. |
Se uma ou mais metas não forem atendidas, considere se a habilitação, a comunicação ou a configuração do IDE adicionais podem ser necessárias antes de expandir a distribuição.
Etapa 4: Incorporar comentários qualitativos
Embora a adoção e o engajamento sejam quantitativos, as métricas de satisfação ajudam você a entender o valor percebido e o sentimento do desenvolvedor. Considere incorporar as seguintes fontes de feedback, externas ao GitHub, em sua análise.
| Source | Description |
|---|---|
| Copilot pesquisas de satisfação | Comentários periódicos dos desenvolvedores sobre utilidade, confiança e produtividade. |
| Canais de comentários internos | Retrospectivas de equipe ou pesquisas de pulso sobre alterações de fluxo de trabalho e ganhos de velocidade percebidos. |
| Tendências de suporte | Menos "como faço para…" perguntas ao longo do tempo geralmente indicam maior confiança e satisfação. |
Combinar métricas de uso com feedback dos desenvolvedores fornece a visão mais completa do impacto do Copilot.
Etapa 5: ampliar sua avaliação por meio da API de métricas de uso Copilot
Após a avaliação, você pode continuar monitorando a adoção e a participação por meio da API de métricas de uso Copilot . A API oferece mais controle sobre quais dados você coleta e com que frequência os analisa.
Recuperar dados de toda a empresa
Você pode usar os endpoints de métricas de uso Copilot para baixar relatórios de uso de 28 dias para sua empresa. Esses relatórios incluem o mesmo conjunto de dados mostrado no painel de métricas de uso Copilot. A API fornece dois endpoints.
| Ponto final | Description |
|---|---|
GET /enterprises/{enterprise}/copilot/metrics/reports/enterprise-28-day/latest | Retorna um link de download assinado para o relatório de uso de nível empresarial com duração de 28 dias mais recente. |
GET /enterprises/{enterprise}/copilot/metrics/reports/users-28-day/latest | Retorna um link de download assinado para o relatório de uso de nível de usuário mais recente de 28 dias. |
Cada resposta de ponto de extremidade inclui URLs assinadas com tempo limitado para baixar os relatórios do Armazenamento de Blobs do Azure, juntamente com o período de relatório coberto pelo arquivo.
Resposta de exemplo:
{
"download_links": [
"https://example.com/copilot-usage-report.json"
],
"report_start_day": "2025-07-18",
"report_end_day": "2025-08-14"
}
Para obter definições de campo completas, consulte GitHub métricas de uso do Copilot.
Automatizar seus relatórios
Para automatizar seus relatórios, você pode configurar um trabalho agendado para chamar a API em intervalos regulares (por exemplo, diário ou semanal) e armazenar os resultados em um banco de dados ou data warehouse para análise posterior. Isso permite que você acompanhe as tendências ao longo do tempo e gere relatórios personalizados conforme necessário.
Etapa 6: Decidir se deseja expandir a distribuição
Use suas descobertas no painel e os dados da API para tomar uma decisão informada sobre a expansão do uso do Copilot.
| Área de decisão | Perguntas a fazer | Métricas de suporte |
|---|---|---|
| Adopção | A maioria dos usuários de avaliação está ativa? Eles continuaram usando Copilot de forma consistente? | Total de usuários ativos, DAU, WAU |
| Necessidades de habilitação | As equipes precisam de mais diretrizes ou recursos? | Uso baixo ou inconsistente entre idiomas ou modelos |
| Engajamento | Os desenvolvedores estão explorando recursos além dos preenchimentos automáticos básicos? | Adoção e uso do agente, solicitações de chat por funcionalidade |
| Satisfação | As equipes estão considerando o Copilot valioso? | Taxa de aceitação, comentários de pesquisas |
Documente suas descobertas e compartilhe-as com os stakeholders para informar a próxima fase da sua distribuição.
Próximas etapas
Agora que você sabe como medir o sucesso da sua avaliação do Copilot, pode continuar a monitorar a adoção e o engajamento à medida que expande o uso. Para saber mais sobre como impulsionar a adoção e habilitar desenvolvedores, consulte Promovendo a adoção do GitHub Copilot em sua empresa.