Когда вы запускаете пробный процесс Copilot, ключ к успеху — понять, как команды принимают и используют Copilot. Объединив аналитические сведения с панели мониторинга Copilot метрик использования и API, вы можете оценить первые результаты, определить потребности в поддержке и решить, следует ли расширять развертывание.
В этом учебнике описаны следующие процедуры.
- Определите четкие цели испытания и критерии успеха.
- Просматривайте и интерпретируйте данные об усыновлении и вовлеченности на панели управления.
- Оцените результаты пробной версии.
- Учитывайте качественную обратную связь от разработчиков.
- Расширьте возможности оценки с помощью API метрик использования Copilot.
- Решите, следует ли расширять развертывание.
Шаг 1: Определите цели пробной версии
Прежде чем анализировать метрики, решите, какие результаты определят успешное испытание для вашей организации. Постановка четких целей облегчает интерпретацию результатов и донесение ценности до заинтересованных сторон.
| Пример цели | Как выглядит успех | Связанные метрики |
|---|---|---|
| Принятие | Большинство лицензированных разработчиков активируют и используют Copilot регулярно. | Всего активных пользователей, ежедневных активных пользователей (DAU), еженедельных активных пользователей (WAU) |
| вовлечённость | Разработчики исследуют множество функций и режимов. | Количество запросов на функцию чата, адаптация операторов |
| Производительность и удовлетворенность | Разработчики отмечают повышение эффективности и доверие к предложениям. | Уровень принятия, внутренняя обратная связь, опросы удовлетворенности |
| Эффективность внедрения | Команды понимают, как и когда использовать Copilot. | Широта использования на разных языках и в интегрированных средах разработки |
Шаг 2: Просматривайте метрики внедрения и вовлеченности на панели управления
Панель управления показывает 28 дней агрегированных данных IDE-телеметрии для всех лицензированных пользователей. Во время пробной версии сосредоточьтесь на следующих ключевых показателях :
| Единица измерения | Что это показывает | Почему это важно |
|---|---|---|
| Всего активных пользователей | Количество разработчиков, которые использовали Copilot хотя бы один раз в течение пробного периода. | Указывает на активацию лицензии и общий охват. |
| Ежедневная активность пользователей (DAU) | Количество уникальных пользователей, активных каждый день. | Выявляет тенденции раннего внедрения: растет, стабилизируется или снижается интерес. |
| Внедрение агентов | Процент активных пользователей, которые использовали Copilot агент. | Демонстрирует глубину вовлеченности и исследования, выходящие за рамки базовых завершений. |
| Процент принятых | Процент Copilot принятых предложений. | Отражает релевантность и доверие — ключевые показатели ценности и удовлетворенности пользователей. |
| Использование языка и модели | Распространение используемых языков программирования и моделей. | Помогает определить, где Copilot обеспечивает наибольшую ценность для всех команд. |
Примечание.
Метрики использования Copilot отражают активность только в поддерживаемых IDE. Использование в Копилот Чат на GitHub.com, GitHub Mobile, Обзор кода Copilot или Второй пилот CLI не включается в данные панели управления.
Шаг 3: Оцените результаты пробной версии
Сравните данные панели мониторинга с целями пробной версии. К числу общих показателей успеха относятся:
| Цель | Что измерять | Признаки успеха |
|---|---|---|
| Активация лицензии | Всего активных пользователей | 70–90% пробных лицензий показывают использование в течение первого месяца. |
| Устойчивое взаимодействие | Ежедневные и еженедельные активные пользователи | DAU и WAU со временем стабилизируются или увеличиваются. |
| Широта применения | Количество запросов на функцию чата, использование языка | Пользователи экспериментируют с несколькими языками и функциями. |
| Глубина использования | Принятие агентов, процент принятия | Разработчики изучают расширенные возможности Copilot. |
| Положительные отзывы | Командные опросы или внутренняя обратная связь | Разработчики сообщают о повышении производительности или улучшении рабочего процесса. |
Если одна или несколько целей не достигнуты, подумайте, может ли потребоваться дополнительное включение, обмен данными или настройка интегрированной среды разработки, прежде чем расширять развертывание.
Шаг 4: Включите качественную обратную связь
В то время как внедрение и вовлеченность являются количественными, показатели удовлетворенности помогают понять воспринимаемую ценность и настроения разработчиков. Рассмотрите возможность включения следующих источников обратной связи извне GitHub в ваш анализ.
| Исходный материал | Description |
|---|---|
| Copilot опросы об удовлетворенности | Периодическая обратная связь от разработчиков о полезности, доверии и продуктивности. |
| Внутренние каналы обратной связи | Командные ретроспективы или пульс-опросы об изменениях в рабочем процессе и ощутимом увеличении скорости. |
| Поддержка трендов | Меньше «how do I...» Вопросы со временем часто указывают на возросшую уверенность и удовлетворение. |
Сочетание метрик использования с отзывами разработчиков дает наиболее полное представление о влиянии Copilot.
Шаг 5: Расширьте свою оценку с помощью API метрик использования Copilot
После пробной версии вы можете продолжить мониторинг внедрения и взаимодействия с помощью API метрик использования Copilot. API дает вам больше контроля над тем, какие данные вы собираете и как часто вы их анализируете.
Извлечение данных в масштабах всего предприятия
Вы можете использовать конечные точки метрик использования Copilot для скачивания 28-дневных отчетов по использованию для вашего предприятия. Эти отчеты включают тот же набор данных, который отображается на панели мониторинга метрик использования Copilot. API предоставляет две конечные точки.
| Endpoint | Description |
|---|---|
GET /enterprises/{enterprise}/copilot/metrics/reports/enterprise-28-day/latest | Возвращает подписанную ссылку для скачивания последнего 28-дневного отчета об использовании корпоративного уровня . |
GET /enterprises/{enterprise}/copilot/metrics/reports/users-28-day/latest | Возвращает подписанную ссылку для скачивания последнего 28-дневного отчета об использовании на уровне пользователя . |
Каждый ответ на конечную точку содержит ограниченные по времени подписанные URL для скачивания отчётов из Azure Blob Storage, а также отчетный период, охватываемый файлом.
Пример ответа:
{
"download_links": [
"https://example.com/copilot-usage-report.json"
],
"report_start_day": "2025-07-18",
"report_end_day": "2025-08-14"
}
Полные определения полей см. в разделе AUTOTITLE.
Автоматизируйте отчетность
Чтобы автоматизировать отчетность, можно настроить запланированное задание, чтобы регулярно вызывать API (например, ежедневно или еженедельно) и хранить результаты в базе данных или data warehouse для дальнейшего анализа. Это позволяет отслеживать тенденции с течением времени и создавать пользовательские отчеты по мере необходимости.
Шаг 6: Решите, стоит ли расширять развертывание
Используйте данные панели управления и данные API, чтобы принять обоснованное решение о расширении Copilot.
| Область принятия решений | Вопросы, которые нужно задать | Вспомогательные метрики |
|---|---|---|
| Принятие | Большинство пользователей пробной версии активны? Продолжали ли они постоянно использовать Copilot? | Всего активных пользователей, DAU, WAU |
| Потребности в поддержке | Нужны ли командам дополнительные рекомендации или ресурсы? | Низкое или несогласованное использование на разных языках или в разных моделях |
| вовлечённость | Изучают ли разработчики функции, выходящие за рамки базовых завершений? | Внедрение операторов, запросы в чате по функциям |
| Степень удовлетворенности | Считают ли команды Copilot ценными? | Процент принятия, отзывы из опросов |
Задокументируйте свои выводы и поделитесь ими с заинтересованными сторонами, чтобы получить информацию о следующем этапе развертывания.
Дальнейшие шаги
Теперь, когда вы знаете, как измерять успех вашего испытания Copilot, вы можете продолжать отслеживать внедрение и вовлечённость по мере расширения использования. Дополнительные сведения о стимулировании внедрения и расширении возможностей разработчиков см. в разделе AUTOTITLE.