О Copilot метриках использования
Copilot Метрики использования помогают администраторам и лицам, принимающим решения, понять, как команды принимают Copilot. Вы можете отслеживать взаимодействие, определять возможности обучения и изучать, как рабочие процессы с помощью ИИ связаны с пропускной способностью запросов на вытягивание и временем слияния.
Используйте панели мониторинга для изучения тенденций в организации и организации:
- Панель мониторинга метрик использования показывает тенденции внедрения и взаимодействия.
- Панель мониторинга создания кода разбивает код, созданный пользователями и агентами.
- Панель мониторинга влияния подключает глубину внедрения с выходными данными запроса на вытягивание.
- Аналитика репозитория показывает действие запроса на вытягивание и Copilot code review результаты для репозитория, принадлежащем организации. Используйте его для выявления пробелов в области охвата и обратной связи, необходимых для выполнения дальнейших действий. Инструкции по доступу см. в разделе Просмотр аналитических сведений о репозитории. Определения метрик и интерпретация см. в разделе Метрики аналитики репозитория.
Для пользовательских отчетов или долгосрочного хранения используйте API-интерфейсы метрик использования и экспорты NDJSON. API предоставляют корпоративные и организационные отчеты с подробными сведениями о репозитории и уровне пользователя. См . раздел AUTOTITLE.
Что измеряют данные?
Метрики использования помогают ответить на различные вопросы о рабочих процессах внедрения и разработки.
| Category | Что он измеряет | Пример вопроса |
|---|---|---|
| Принятие | Сколько лицензированных разработчиков активно использует Copilot. | Регулярно используются Copilot ли команды? |
| Вовлеченность | Как часто разработчики используют Copilot и какие функции они используют. | Разработчики изучают рабочие процессы агента после обучения? |
| Процент принятых | Как часто разработчики принимают предложения. Тенденции принятия могут предложить, полезны ли предложения. | Принимают ли разработчики большую долю встроенных предложений? |
| Строки кода | Код предлагает, добавляется или удаляется в редакторе. | Сколько кода создается и вставляется в файлы? |
| Жизненный цикл запроса на вытягивание | Создание запроса на вытягивание и количество слияний, время слияния и проверка действий. | Как внедрение связано с пропускной способностью запроса на вытягивание и потоком доставки? |
Ищите шаблоны между этими сигналами, а не рассматривать любое одно число в качестве меры производительности. Объедините тенденции с отзывами разработчиков, чтобы понять, что работает и где команды нуждаются в поддержке.
Общие сведения об внедрениях
Счетчики активных пользователей показывают, используются Copilotли пользователи, но не как они используют его. Кохорты внедрения в группах мониторинга влияния пользователей по функциям, с которыми они взаимодействуют, от завершения кода и редактирования до рабочих процессов с агентом и несколькими агентами. Это помогает узнать, расширяется ли использование с течением времени.
Когорты описывают широту использования функции, а не просто объем действия. Пользователь с частыми завершениями может оставаться на первом этапе кода, пока пользователь, использующий несколько поверхностей агента, квалифифиируется на более поздний этап.
Панель мониторинга влияния использует эти когорты для сравнения выходных данных запроса на вытягивание и времени слияния. Его отраслевые сравнения обеспечивают дополнительный контекст от участвующих одноранговых узлов, и его потенциальная отдача от инвестиционных оценок сравнивает затраты и выходные данные на этапах внедрения. Эти сравнения показывают ассоциации, а не доказательство того, что внедрение вызвало изменение производительности. Состав команды, сложность проекта и опыт также могут повлиять на результаты.
Общие сведения о охвате и ограничениях
Метрики использования объединяют данные телеметрии из idEs и Copilot CLIдругих поддерживаемых поверхностей. Они не являются полной записью всех Copilot действий. Покрытие зависит от метрик и отчета.
Подробные разбивки интегрированной среды разработки требуют поддерживаемых клиентов с включенными данными телеметрии. Данные телеметрии на стороне сервера по-прежнему могут определять активных пользователей при отсутствии сведений на стороне клиента.
Аналитика репозитория использует запрос на вытягивание на стороне сервера и просматривает данные и не зависит от телеметрии интегрированной среды разработки.
Данные за указанный день доступны в течение двух полных дней в формате UTC после закрытия этого дня. Метрики уровня организации могут перекрываться, так как один и тот же пользователь может принадлежать нескольким организациям, поэтому не добавляйте итоги организации для вычисления общего объема предприятия.
Метрики использования измеряют действие, а не назначения лицензий. Используйте API управления пользователями для сведений Copilot о местах и лицензиях.
Более подробно проанализировать метрики
Если вам нужно объяснить или проверить результаты, используйте справочные статьи для проверки определений метрики и этапов внедрения, согласования панелей мониторинга и отчетов API и интерпретации отраслевых сравнений. См . раздел AUTOTITLE.