Skip to main content

Enterprise Server 3.23 ist derzeit als Release Candidate verfügbar.

Skip to content

Uhrabweichung von nicht erreichbaren NTP-Servern

Wenn Ihre GitHub Enterprise Server-Instance die Zeitserver, gegen die es konfiguriert ist, nicht erreichen kann, driftet die Uhr von der Echtzeit ab. Anmeldung, Integrationen und GitHub Actions können dann aus Gründen fehlschlagen, die die Systemuhr nie erwähnen.

Symptome

Die Uhr wird in dem, was Sie tatsächlich sehen, selten erwähnt. Die Symptome treffen stattdessen alles, was davon abhängt, dass zwei Systeme sich über die Zeit einig sind.

  • Benutzer können sich nicht anmelden, oder Sitzungen enden früher als erwartet.
  • GitHub Connect kann keine Verbindung herstellen, oder die Lizenzseite gibt einen Serverfehler zurück.
  • GitHub Actions Jobs können nicht gestartet werden, oder Token werden als ungültig abgelehnt.
  • /var/log/github/exceptions.log enthält Fehler bezüglich eines Claims zum Token-Ablauf, dessen Ablaufzeitpunkt zu weit in der Zukunft liegt, z. B. 'Expiration time' claim ('exp') is too far in the future.
  • Zeitstempel in der Weboberfläche, in Protokollen oder in Commits stimmen nicht mit der erwarteten Zeit überein.

Ein von einer Instanz signiertes Token, dessen Uhr falsch ist, sieht für das System, das es empfängt, ungültig aus, obwohl nichts mit dem Token selbst falsch ist. Aus diesem Grund deuten diese Fehler eher auf die Authentifizierung als auf die Zeit hin.

Ursachen

GitHub Enterprise Server hält seine Uhr genau, indem sie mit NTP-Servern (Network Time Protocol) über UDP-Port 123 synchronisiert wird. Sie muss mindestens eine davon fortlaufend erreichen.

Ein konfigurierter Server ist aus normalen Gründen nicht mehr erreichbar.

  • Eine Firewall oder Sicherheitsgruppe blockiert ausgehenden UDP-Port 123, was leicht zu übersehen ist, da der Rest der Instanz funktioniert.
  • Ein interner Zeitserver wird außer Betrieb genommen oder umbenannt, und die Instanz ist weiterhin auf die alte Adresse eingestellt.
  • Der Hostname wird nicht mehr aufgelöst.
  • Es ist nur ein Server konfiguriert, sodass es nichts gibt, worauf zurückgegriffen werden kann, wenn er weggeht.

Wenn kein konfigurierter Server erreicht werden kann, lässt chrony die lokale Systemuhr ohne externe Korrektur weiterlaufen und meldet das Fallback-Stratum von 10, das GitHub Enterprise Server konfiguriert. Dies ist nicht die Hardwareuhr, bei der es sich um ein separates Gerät handelt, das außerhalb von chrony verwaltet wird.

In diesem Moment schlägt nichts fehl, und es wird kein Fehler ausgelöst. Die Uhr wird einfach nicht mehr korrigiert und driftet zunächst langsam, bis etwas, das von genauer Zeit abhängt, nicht mehr funktioniert. Je weiter die Abweichung, desto weitreichender die Ausfälle.

Ein Hypervisor, der auch versucht, die Uhr des virtuellen Computers einzustellen, kann dasselbe Ergebnis erzeugen, indem er mit der eigenen Synchronisierung der Instanz in Konflikt gerät.

Problem bestätigen

  1. Melden Sie sich per SSH an der administrativen Shell an. Weitere Informationen findest du unter Auf die Verwaltungsshell (SSH) zugreifen.

  2. Listen Sie die Zeitquellen und deren Status auf.

    sudo chronyc sources -v
    

    Lesen Sie die MS Spalte auf der linken Seite jeder Quelle. Ein ? bedeutet, dass chrony diese Quelle nicht verwendet. Allein das ist kein Nachweis für ein Netzwerkproblem, da derselbe Marker für einen Server angezeigt wird, der selbst nicht synchronisiert ist, und für eine Quelle, die noch nicht genügend Messungen bereitgestellt hat.

    Eine nicht erreichbare Quelle wird durch den unterstützenden Nachweis in derselben Zeile identifiziert. In der nachstehenden Ausgabe ist 0``Reach, was bedeutet, dass keine der letzten Umfragen eine Antwort erhalten hat, und LastRx ist -, was bedeutet, dass noch nie eine Stichprobe eingegangen ist. Keiner der Server hat jemals geantwortet.

    MS Name/IP address         Stratum Poll Reach LastRx Last sample
    ===============================================================================
    ^? ntp1.example.com              0  10     0     -     +0ns[   +0ns] +/-    0ns
    ^? ntp2.example.com              0  10     0     -     +0ns[   +0ns] +/-    0ns
    

    Wenn eine Quelle mit * markiert ist, hat chrony sie ausgewählt, wodurch das Problem der Erreichbarkeit ausgeschlossen wird. Es wird nicht bestätigt, dass die Uhr korrekt ist, da chrony einen großen Offset schrittweise korrigiert und die Instanz währenddessen deutlich von der Echtzeit abweichen kann. Fahren Sie in jedem Fall mit den verbleibenden Prüfungen fort.

  3. Überprüfen Sie, worauf die Instanz tatsächlich synchronisiert ist.

    sudo chronyc tracking
    

    Eine Referenz-ID mit einem leeren Namen in eckigen Klammern zusammen mit einer Schicht von 10 bedeutet, dass die Instanz ihre konfigurierten Server aufgegeben hat und ihre eigene Uhr verwendet.

    Reference ID    : 7F7F0101 ()
    Stratum         : 10
    System time     : 0.000000000 seconds fast of NTP time
    

    Stratum zählt, wie viele Ebenen die Instanz von einer Referenzuhr entfernt ist, und eine Instanz meldet immer eine mehr als der Server, dem sie folgt. Der Wert 10 ist spezifisch: Er ist der Fallback, den GitHub Enterprise Server konfiguriert, wenn keine Quelle verfügbar ist, sodass er zusammen mit einer unbenannten Referenz-ID der Hinweis ist.

    Eine funktionsfähige Instanz benennt stattdessen den Server, dem sie folgt, und meldet ein Stratum, das um eins über dem Stratum dieses Servers liegt.

    Reference ID    : D9723B03 (ntp1.example.com)
    Stratum         : 3
    System time     : 0.000079420 seconds fast of NTP time
    

System time wird anhand der Server gemessen, mit denen die Instanz synchronisiert ist. Wenn sie also mit ihrer eigenen Uhr synchronisiert ist, ist der Wert bedeutungslos. Es wird als nahe Null angezeigt, unabhängig davon, wie weit die Uhr gedriftet ist.

  1. Messen Sie die Drift für sich selbst, indem Sie die Instanzuhr mit einer Quelle vergleichen, der Sie vertrauen.

    date -u
    

    Beachten Sie, wie stark es abweicht. Ein großer Unterschied bestätigt, dass die Uhr unkontrolliert abgedriftet ist.

  2. Wenn Sie die unterstützenden Details zu jeder Quelle benötigen, z. B. wie stark sie schief verteilt ist und wie viele Stichproben aufbewahrt wurden, verwenden Sie den folgenden Befehl.

    sudo chronyc sourcestats -v
    

Beheben des Problems

Stellen Sie zuerst die Synchronisierung wieder her, und korrigieren Sie dann die Abweichung, die sich aufgebaut hat, während sie unterbrochen war. Wenn Sie die Drift korrigieren, ohne die Erreichbarkeit zu beheben, kaufen Sie nur Zeit, bevor sie wieder auftritt.

  1. Überprüfen Sie, für welche Server die Instanz konfiguriert ist, im Abschnitt "Zeit" der Verwaltungskonsole. Weitere Informationen findest du unter Zeitsynchronisierung konfigurieren.

  2. Bestätigen Sie, dass die Instanz sie erreichen kann. Ausgehender UDP-Port 123 muss zu jedem Server offen sein, in jeder Firewall und Sicherheitsgruppe zwischen der Instanz und dem Server. Weitere Informationen findest du unter Netzwerkports.

  3. Wenn ein Server nicht mehr vorhanden ist oder Sie den Pfad nicht öffnen können, konfigurieren Sie Server, die von der Instanz erreicht werden können. Konfigurieren Sie mindestens zwei, sodass der Wegfall eines die Instanz nicht ohne verbleibendes Element zurücklässt.

  4. Bestätigen Sie, dass chrony erneut eine Quelle ausgewählt hat. Einer von ihnen sollte jetzt mit Reach einem Wert ungleich null * markiert werden.

    sudo chronyc sources -v
    
  5. Korrigieren Sie die Abweichung, die sich aufgebaut hat, während die Instanz nicht synchronisiert war. NTP korrigiert kleine Abweichungen allein, aber ein großer Unterschied benötigt den folgenden Befehl. Weitere Informationen findest du unter Zeitsynchronisierung konfigurieren.

    sudo chronyc -a makestep
    
  6. Bestätigen Sie, dass die Uhr jetzt mit einer Quelle übereinstimmt, der Sie vertrauen. Dies ist die Überprüfung, die Ihnen sagt, dass die Drift tatsächlich verschwunden ist, anstatt noch korrigiert zu werden.

    date -u
    
  7. Wiederholen Sie den Vorgang, der fehlgeschlagen ist.

Verhinderung eines erneuten Auftretens

  • Konfigurieren Sie mindestens zwei Zeitserver, damit bei Ausfall eines Servers die Synchronisierung nicht stoppt.
  • Nachdem Sie die Server geändert haben, überprüfen Sie, ob die Instanz sie tatsächlich erreichen kann. Ein konfigurierter Server ist nicht unbedingt ein funktionierender Server, und nichts warnt Sie, wenn er nicht mehr antwortet.
  • Lassen Sie den ausgehenden UDP-Port 123 für Ihre Zeitserver geöffnet, wenn sich Firewallregeln ändern.
  • Verhindern Sie, dass der Hypervisor die Uhr des virtuellen Computers festlegt, sodass er nicht mit der eigenen Synchronisierung der Instanz konkurrieren kann. Weitere Informationen finden Sie in der Dokumentation ihres Virtualisierungsanbieters.
  • Überprüfen Sie die Zeitquelle als Teil Ihrer regelmäßigen Integritätsprüfungen. Drift ist harmlos, bis sie es nicht mehr ist, und sie früh zu erkennen, solange sie noch gering ist, erspart Ihnen herauszufinden, welche von mehreren nicht zusammenhängenden Fehlern auf die Uhr zurückzuführen waren.

Kontaktieren GitHub-Support

Wenn die Instanz nach dem Überprüfen der Konfiguration und des Netzwerkpfads immer noch keinen Zeitserver erreichen kann oder wenn die ursprünglichen Symptome weiterhin bestehen, sobald die Uhr korrekt ist, wenden Sie sich an GitHub-Support, anstatt den Vorgang fortzusetzen. Weitere Informationen findest du unter Erstellen eines Supporttickets.

Wenn Sie bereits ein Ticket geöffnet haben, hilft GitHub-Support das Anfügen eines Support-Bundles, das Problem schneller zu diagnostizieren. Weitere Informationen findest du unter Bereitstellen von Daten für GitHub Support.

Weiterführende Lektüre