Симптомы
Может возникнуть одна или несколько следующих проблем. Другие проблемы могут привести к тем же проблемам, поэтому используйте проверки в разделе "Подтверждение проблемы ", чтобы убедиться, что задача уведомления застопорилась.
- В репозиториях, которые раньше не использовались GitHub Actions , например новые репозитории, рабочие процессы не выполняются. Страница параметров репозитория GitHub Actions и страница для добавления локального runner возвращает ошибку 500. Репозитории, которые уже используются GitHub Actions , обычно работают.
- В организациях, которые раньше не использовались GitHub Actions , страницы групп запуска организации GitHub Actions возвращают ошибку 500. Если ваша организация раньше не использовалась GitHub Actions , страницы групп запуска предприятия и группы runner могут завершиться так же.
- Обновление или исправление или другое выполнение конфигурации, которое обновляется GitHub Actions, приостанавливается в течение 15 минут или более, а затем завершается сбоем. Журнал конфигурации,
/data/user/common/ghe-config.logсодержитFailed to update the following host process. Эта ошибка также может иметь другие причины, особенно во время обновления. - Системный журнал получает новое сообщение о каждой секунде, заявив, что
SqlNotificationBackgroundWorkзадачаis still running past its interval time. Приостановленные задачи в процессах агента заданий не регистрируют это сообщение.
ghe-actions-check может сообщить о работоспособности каждой службы во время возникновения этой проблемы, поэтому здоровый результат не исключает его.
Причины
GitHub Actions настраивает хранилище для каждого репозитория, пользователя, организации и предприятия при первом GitHub Actions использовании. Это хранилище содержит регистрации бегуна и другие необходимые GitHub Actions параметры.
GitHub Actions Службы выполняются как несколько процессов. Каждый процесс выполняет фоновые задачи, которые проверяют очереди уведомлений в GitHub Actions базах данных примерно один раз в секунду и признают изменения, которые они находят. Некоторые операции ожидают, пока другие процессы не признают изменения.
- Настройка хранилища в первый раз ожидает двух процессов основной GitHub Actions службы и
actions-api-serveractions-job-agent. - Запуск конфигурации, который обновляет GitHub Actions процессы агента задания, имена которых заканчиваются
-job-agent.
Если фоновая задача в одном из этих процессов перестает работать, так как она зависает или из-за остановки выполнения, этот процесс останавливает подтверждение изменений, поэтому операции, ожидающие его сбоя. Большинство других GitHub Actions действий не зависит от очередей, поэтому проблема может остаться незамеченной в течение нескольких дней, пока не потребуется GitHub Actions новый репозиторий или не будет выполняться обновление конфигурации.
В тех случаях, когда GitHub было расследовано, задача не восстановилась самостоятельно. Ничего в GitHub Actions перезапуске не выполняется и ghe-actions-check не обнаруживает проблему.
GitHub Actions Перезапуск служб запускает новые процессы с новыми фоновыми задачами, которые исправляют его. Причина того, что задача застопорится, не известна, поэтому проблема может произойти снова.
Подтверждение проблемы
Каждый GitHub Actions процесс регистрирует пульс примерно каждые 5 минут во время выполнения задач уведомления. Когда задача застопорилась в процессе, имя которого заканчивается -api-server, этот процесс также регистрирует сообщение о застопорившемся выполнении задачи примерно один раз в секунду. Процессы, имена которых заканчиваются никогда не регистрируются в -job-agent сообщениях о проблемах, поэтому для этих процессов отображаются только пульса.
-
SSH в административную оболочку. В конфигурации высокой доступности подключитесь к основному объекту. В кластере выполните эти команды на каждом узле, который выполняется GitHub Actions. Чтобы вывести список этих узлов, выполните команду
ghe-cluster-nodes --role actions. Дополнительные сведения см. в разделе Доступ к административной оболочке (SSH). -
Для каждого GitHub Actions процесса подсчитывайте пульс и сообщения с застопорившей задачей за последние 15 минут. Если вы начали или перезапустили GitHub Actions менее 15 минут назад, подождите, пока не прошло 15 минут.
for p in actions-api-server actions-job-agent mps-api-server mps-job-agent token-api-server token-job-agent artifactcache-api-server artifactcache-job-agent; do log=$(sudo journalctl -t "$p" --since '15 min ago' --no-pager) hb=$(grep -c 'Deployment Notification Heartbeat' <<< "$log") case "$p" in *-job-agent) st="n/a" ;; *) st=$(grep -c 'SqlNotificationBackgroundWork.*still running past its interval' <<< "$log") ;; esac echo "$p: $hb heartbeats, $st stalled-task messages" doneВыходные данные выглядят следующим образом. В этом примере задача
actions-api-serverуведомления остановилась.actions-api-server: 0 heartbeats, 900 stalled-task messages actions-job-agent: 3 heartbeats, n/a stalled-task messages mps-api-server: 3 heartbeats, 0 stalled-task messages mps-job-agent: 3 heartbeats, n/a stalled-task messages token-api-server: 3 heartbeats, 0 stalled-task messages token-job-agent: 2 heartbeats, n/a stalled-task messages artifactcache-api-server: 3 heartbeats, 0 stalled-task messages artifactcache-job-agent: 3 heartbeats, n/a stalled-task messages -
Используйте эту таблицу для чтения результата для каждого процесса.
Результат процесса Что это означает 2 или более пульса, и не более нескольких застопорных сообщений задачи Процесс работает. Одна медленная проверка может записывать несколько застопорных сообщений задачи. 0 пульсов, а другие процессы показывают 2 или более Задача уведомления в этом процессе остановилась. Около 900 или более застопорных сообщений задачи, что составляет около одной секунды Задача уведомления в этом процессе остановилась. 1 пульс или больше, чем несколько, но меньше, чем около 900 сообщений о остановленной задаче Пока не ясно. Подождите 15 минут, а затем снова выполните команды. 0 пульсов для каждого процесса
GitHub Actions не выполняется на этом узле. Убедитесь, что вы подключены к основному узлу или к узлу кластера, который выполняется GitHub Actions. |
| 0 пульсов только для двух artifactcache процессов | Это ожидается, если служба кэша отключена GitHub Actions . Дополнительные сведения см. в разделе Служебные программы командной строки. |
-
Убедитесь, что застопоримые процессы соответствуют вашим симптомам.
- 500 ошибок возникают при
actions-api-serverвозникновении илиactions-job-agentостановке. - Сбой при выполнении конфигурации при завершении процесса, имя которого заканчивается
-job-agentсбоем.
Если процесс не застопорился, или застопоримые процессы не соответствуют вашим симптомам, задача уведомления застопорилась, вероятно, не является причиной. См. раздел "Контакт Служба поддержки GitHub".
- 500 ошибок возникают при
-
При необходимости, чтобы узнать, когда задача в процессе, имя которого заканчивается
-api-serverзастопорилось, просмотрите его последнее сообщение о застопоривной задаче. Замените PROCESS-NAME именем процесса.sudo journalctl -t PROCESS-NAME --since '15 min ago' --no-pager | grep 'SqlNotificationBackgroundWork.*still running past its interval' | tail -n 1Выходные данные выглядят следующим образом. Каждое сообщение является одной длинной строкой, сокращенной здесь.
Mar 10 09:15:42 github-example-com-primary actions-api-server[2817]: {"logType": "ProductTrace", "logData": {"PreciseTimeStamp":"2026-03-10 09:15:42.1234","Level":"2", ... "Message":"Background task adcceb44-740e-44e8-a2cf-95c1d38db76c:Microsoft.TeamFoundation.Framework.Server.NotificationProcessor+SqlNotificationBackgroundWork:9442d144-43fd-4fe3-bdca-e460fdee6c01 is still running past its interval time and thus is delaying its next execution.\nThe next execution was supposed to occur 2.10:34:37.0512746 ago at 03/07/2026 22:41:05.", ... }}Дата и время после
ago atзавершения задачи. Они находятся в формате UTC с датой в месяц/день/год. Значение перед ними показывает, как давно это было, какDAYS.HOURS:MINUTES:SECONDS. Часть дней отображается только в том случае, если это был один день или несколько назад.
Устранение проблемы
GitHub Actions Перезапустите службы. В конфигурации с высоким уровнем доступности выполните каждую команду на первичном сервере. В кластере запустите их на основном узле MySQL, который обычно является узлом, указанным в mysql-master файле конфигурации кластера. Дополнительные сведения см. в разделе Инициализация кластера.
Если выполняется запуск конфигурации, дождитесь завершения или сбоя перед началом работы. Запуск, который блокирует эту проблему, завершается сбоем через 15 минут или более.
Если вы планируете связаться с этой проблемой, ознакомьтесь с контактами Служба поддержки GitHub Служба поддержки GitHub перед перезапуском.
Предупреждение
GitHub Actions Остановка служб делает GitHub Actions недоступными до тех пор, пока не запустите их снова. Задания, выполняемые при остановке служб, могут завершиться ошибкой. Если вы можете, перезапустите службы при выполнении нескольких рабочих процессов. После перезапуска повторно запустите все задания, которые не удалось выполнить. Локальные модули запуска повторно подключаются самостоятельно.
-
SSH в административную оболочку.
-
Убедитесь, что GitHub Actions службы и их хранилище в противном случае работоспособны.
ghe-actions-check ghe-actions-check -s blobЕсли хранилище работоспособно, последняя строка выходных данных из второй команды .
Хранилище BLOB-объектов is healthy!Если любая команда сообщает, что служба не смогла стать работоспособной, или отчетыStorage tests failed!, не продолжайте работу. Вместо этого обратитесь к контакту Служба поддержки GitHub .ghe-actions-startвыполняет ту же проверку хранилища, поэтому она также завершится ошибкой. -
Остановите GitHub Actions службы.
ghe-actions-stopДля каждой службы выходные данные включают строку, начинающуюся с
Attempting to stop. Если выходные данные включаютсяFailed to stop, перейдите к следующему шагу, чтобы снова запустить службы, а затем обратитесь Служба поддержки GitHub. -
GitHub Actions Запустите службы.
ghe-actions-startЭто может занять несколько минут. Не прерывайте его. По завершении последняя строка выходных данных
Actions was enabled!. Это означает, что службы запускаются, а не готовы, поэтому проверьте их на следующем шаге. Если команда заканчивается ошибкой, GitHub Actions может оставаться недоступной. Обратитесь Служба поддержки GitHub сразу. -
Убедитесь, что службы работоспособны. Это может занять несколько минут.
ghe-actions-checkПри работоспособности каждой службы выходные данные выглядят следующим образом.
MSSQL is healthy! Mps database is healthy! Mps nomad job is healthy! Mps AT health api is healthy! Token database is healthy! Token nomad job is healthy! Token AT health api is healthy! Actions database is healthy! Actions nomad job is healthy! Actions AT health api is healthy! Artifactcache database is healthy! Artifactcache nomad job is healthy! Artifactcache AT health api is healthy!Если служба кэша GitHub Actions отключена,
Artifactcacheстроки не отображаются. Во время запуска служб выходные данные также могут включать такие строки, какMps nomad job is not yet healthy (attempt 1 of 20), trying again in 10 seconds.... -
Так как
ghe-actions-checkне удается обнаружить застойную задачу, подождите 15 минут, а затем снова запустите проверку. Каждый процесс должен отображать 2 или более пульсов, и не более нескольких застопорных сообщений задачи. Если служба кэша отключенаGitHub Actions, отображаются0дваartifactcacheпроцесса. -
GitHub Actions Откройте страницу параметров затронутого репозитория и убедитесь, что она загружается. Если режим обслуживания включен, например из-за обновления, сделайте это после отключения режима обслуживания. Первая загрузка по-прежнему может завершиться ошибкой. Если это так, подождите минуту и перезагрузите страницу. Если страница по-прежнему возвращает ошибку 500, обратитесь Служба поддержки GitHub. Дополнительные сведения см. в разделе Управление настройками GitHub Actions для репозитория.
Не нужно очищать хранилище, которое не удалось настроить. Следующий раз GitHub Actions используется в затронутом репозитории, пользователе, организации или организации, GitHub Actions настраивает необходимое хранилище. Рабочие процессы, которые должны выполняться во время возникновения проблемы, могут не выполняться самостоятельно. Если вам нужны, снова активируйте их.
Выполнение неудачной конфигурации снова
Если сбой Failed to update the following host processзапуска конфигурации и процесс, имя которого заканчивается -job-agent в тупике, запустите конфигурацию снова после перезапуска GitHub Actions служб. Если процесс агента заданий не застопорился, не выполняйте его снова. Вместо этого контакт Служба поддержки GitHub , потому что что-то другое, вероятно, вызвало сбой.
Если запуск конфигурации был частью обновления, еще не отключите режим обслуживания. В конфигурации высокой доступности оставайтесь в режиме обслуживания, пока не будет обновлена каждая реплика и репликация. Дополнительные сведения см. в разделе Обновление с помощью пакета обновления.
В кластере не выполните указанные ниже действия. Вместо этого обратитесь к контакту Служба поддержки GitHub .
Предупреждение
Выполнение ghe-config-apply служб нарушает работу.
-
Если режим обслуживания еще не включен, включите его. Дополнительные сведения см. в разделе Включение и планирование режима обслуживания.
-
Примените конфигурацию.
ghe-config-applyЕсли запуск конфигурации завершается ошибкой, оставьте режим обслуживания включенным и контактным.Служба поддержки GitHub
-
После успешного выполнения конфигурации отключите режим обслуживания. При обновлении конфигурации высокой доступности сначала обновите каждую реплику и дождитесь, пока репликация не будет текущей.
Предотвращение повторения
GitHub не знает, почему задача застопорится, поэтому нет известного способа предотвратить его. Его можно найти, прежде чем он влияет на пользователей.
- Перед обновлением или применением горячей патчи проверьте наличие приостановленной задачи уведомления, как описано в разделе "Подтверждение проблемы". Если вы нашли его, сначала перезапустите GitHub Actions службы. Это может остановить остановленную задачу от сбоя запуска конфигурации.
- Если вы пересылаете журналы в систему мониторинга, оповещение о том, что GitHub Actions процесс не регистрируется
Deployment Notification Heartbeatболее 15 минут. Кроме того, оповещает о том, что сообщения содержат обаSqlNotificationBackgroundWorkсообщения иstill running past its intervalпродолжают поступать более 15 минут. Дополнительные сведения см. в разделе Пересылка журналов.
Связь Служба поддержки GitHub
Другие проблемы могут вызвать те же 500 ошибок и сбоев конфигурации. Если проверки не находят застопоримую задачу уведомления, если задача застопорится после перезапуска, если ghe-actions-stop печать Failed to stopили ghe-actions-start ghe-actions-check сообщение об ошибке, или если вы не уверены в любом из этих шагов, обратитесь Служба поддержки GitHub , а не продолжайте работу. Дополнительные сведения см. в разделе Создание запроса в службу поддержки.
Если вы уже открыли запрос, присоединение пакета поддержки помогает Служба поддержки GitHub быстрее диагностировать проблему. Создайте пакет расширенной поддержки, как только вы заметите проблему, прежде чем перезапустить GitHub Actions службы. Журналы с момента остановки задачи являются наиболее полезными, и они могут быть несколько дней. Расширенный пакет поддержки включает журналы за последние восемь дней. Дополнительные сведения см. в разделе Предоставление данных в поддержку GitHub.