¿Por qué introducir más discos en la instancia de GHES?
-
Distribución de recursos mejorada:
- Los distintos servicios tienen requisitos de disco únicos.
- MySQL es principalmente sensible a la latencia y a IOPS.
- Algunos recursos (como los repositorios) no se benefician tanto del almacenamiento en bloque costoso.
-
Límites de máquina virtual maximizados:
- A menudo, un solo disco no puede maximizar las limitaciones de una instancia.
- Desde una perspectiva de costos, normalmente no es factible o vale la pena ejecutar todo en el almacenamiento más caro o más rápido.
-
Separación más clara entre la asignación de recursos y los servicios:
- Los recursos se pueden asignar de forma específica, lo que impide que los servicios críticos queden sin recursos.
-
Escalabilidad
- Los clientes con topologías independientes, de alta disponibilidad y de clúster pueden escalar horizontalmente según sea necesario.
-
Resistencia:
- El aislamiento de los registros del disco raíz mejora la resistencia evitando que el volumen de registros inunda el disco raíz.
Constraints
-
Los discos de datos múltiples se admiten en topologías independientes, de alta disponibilidad (HA) y de clúster.
-
En las topologías de clúster, se recomienda usar discos multidados solo para MySQL. No se recomienda migrar repositorios ni registros a discos adicionales de un clúster.
-
Una vez configurados varios discos de datos en una implementación, este cambio no se puede deshacer para esa implementación.
-
La configuración de discos de varios datos y la migración de datos normalmente requiere un tiempo de inactividad.
- Puede minimizarlo configurando una réplica con discos de datos múltiples, replicando datos desde el primario y realizando una conmutación por error a la réplica.
- Si va a agregar discos de datos múltiples directamente al principal, espere un tiempo de inactividad mucho más largo.
-
No se recomienda migrar MySQL, repositorios, registros del sistema o GitHub registros al mismo disco. Cada disco adicional solo debe contener una migración.
-
Actualmente, solo mySQL, repositorios, registros del sistema y GitHub registros se pueden migrar a discos adicionales.
-
Se requiere reiniciar el GitHub Enterprise Server nodo después de migrar los registros del sistema para asegurarse de que funciona en un nivel de sistema. La aplicación de la configuración tomará algún tiempo ya que también se ejecuta durante el inicio del nodo.
Recomendaciones de recursos
Si agrega discos que son tan rápidos o más rápidos que los actuales, debería ver un rendimiento mejorado. Normalmente, los dispositivos de almacenamiento se miden por IOPS (operaciones de entrada/salida por segundo), rendimiento y latencia. Para MySQL, se recomienda usar un disco con una menor latencia y una IOPS mayor que el disco de datos existente. En el caso de los repositorios, elija un disco con mayor IOPS y rendimiento que el disco de datos actual. En el caso de los registros, se recomienda usar un disco con mayor IOPS y rendimiento que el disco de datos existente para controlar las operaciones de escritura continuas de las actividades de registro.
En las configuraciones de alta disponibilidad, es mejor usar discos de varios datos tanto en la réplica principal como en todas las réplicas. No se recomienda mezclar configuraciones, donde la principal tiene discos de varios datos, pero la réplica no lo hace.
En las configuraciones de clúster, se recomienda usar discos de datos múltiples solo para MySQL. Configure el disco adicional en cada nodo que ejecute MySQL. No se recomienda mezclar configuraciones entre nodos del mismo rol.
Configuración de varios discos de datos y rutas de acceso de datos
Prerrequisitos
- Se recomienda realizar una copia de seguridad reciente de los datos antes de empezar.
- Cree un entorno de prueba para probar la característica.
- Se recomienda probar la característica en un entorno que no sea de producción antes de usarla en producción.
Instrucciones
En las topologías de clúster, repita estos pasos en cada nodo que ejecute MySQL y migre solo MySQL.
-
Puede realizar una instalación nueva de GHES o usar una instancia de GHES existente. Debe tener configurado el disco de datos en
/data/user. -
Una vez
/data/userconfigurado, agregue dispositivos de almacenamiento en bloque adicionales a la instancia.Actualmente,
ghe-storage-findelige el primer almacenamiento en bloque para configurar/data/useren función del orden alfabético de la ruta de acceso del almacenamiento en bloque. Esto sucede en el primer arranque del dispositivo GHES.Para tener más control sobre qué disco se usa para
/data/user, es mejor completar el proceso de inicialización con un solo disco conectado inicialmente. -
Inicialice la configuración de varios discos mediante los nuevos dispositivos de almacenamiento en bloques. Para inicializar la compatibilidad con varios discos, ejecute
ghe-storage-multi-disk init. En cada reinicio,ghe-multi-disk.servicevolverá a montar automáticamente los discos de datos existentes en las rutas de acceso correctas.Shell /usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme2n1 db
/usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme2n1 dbShell /usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme3n1 git
/usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme3n1 gitShell /usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme4n1 systemlogs
/usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme4n1 systemlogsShell /usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme5n1 githublogs
/usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme5n1 githublogs
Tenga en cuenta que /dev/nvme2n1, /dev/nvme3n1, /dev/nvme4n1y /dev/nvme5n1 son solo rutas de acceso de ejemplo. Es posible que no coincidan con las rutas de acceso en su sistema. Del mismo modo, db, git, systemlogsy githublogs son ejemplos. Puede elegir nombres diferentes.
-
Cambie al modo de mantenimiento.
Shell ghe-maintenance -s
ghe-maintenance -s -
Migre las rutas de acceso de datos deseadas.
Para migrar MySQL:
Shell /usr/local/share/enterprise/ghe-storage-migrate-mysql db
/usr/local/share/enterprise/ghe-storage-migrate-mysql dbPara migrar repositorios:
Shell /usr/local/share/enterprise/ghe-storage-migrate-repositories git
/usr/local/share/enterprise/ghe-storage-migrate-repositories gitPara migrar registros del sistema:
Shell /usr/local/share/enterprise/ghe-storage-migrate-logs systemlogs
/usr/local/share/enterprise/ghe-storage-migrate-logs systemlogsDespués de migrar los registros del sistema, reinicie la instancia:
Shell sudo reboot
sudo rebootPara migrar registros GitHub:
Shell /usr/local/share/enterprise/ghe-storage-migrate-github-logs githublogs
/usr/local/share/enterprise/ghe-storage-migrate-github-logs githublogs -
Salir del modo de mantenimiento.
Shell ghe-maintenance -u
ghe-maintenance -u -
Pruebe la instancia durante un período de tiempo para asegurarse de que todo funciona según lo previsto.
-
Solo después de realizar pruebas suficientes, quite
/data/user/mysql-backup,/data/user/repositories-backup,/var/log-backup,/data/github/current/log-backup, y/data/github/shared/log-backup.Mantener estas carpetas durante las pruebas le permite revertir en caso de emergencia. Después de realizar pruebas suficientes, debe quitar esas carpetas de copia de seguridad para liberar espacio.
Guía para configuraciones de alta disponibilidad
Las instrucciones siguientes ayudan a reducir el tiempo de inactividad en topologías de alta disponibilidad (HA). Si usa una topología independiente, no tenemos instrucciones adicionales similares en este momento. Para topologías de clúster, consulte Guía para configuraciones de clúster.
En el caso de las topologías de alta disponibilidad, el mejor enfoque es establecer una nueva réplica con varios discos de datos configurados, replicar datos desde el principal y, a continuación, promover la réplica al primario. No se recomienda migrar datos a discos adicionales en la principal actual, ya que este proceso puede provocar un tiempo de inactividad significativo.
-
Configure una nueva réplica de alta disponibilidad con discos mejorados.
Para planear la migración de datos, use
du -sh /data/user/mysql,du -sh /data/user/repositories,du -sh /var/log,du -sh /data/github/current/logydu -sh /data/github/shared/logen la principal para calcular los requisitos de espacio en disco para la nueva réplica. -
Configure varios discos en la nueva réplica de alta disponibilidad.
-
Permitir que el principal de alta disponibilidad se replique en la réplica.
-
Siga la secuencia de conmutación por error como se documenta en Iniciar una tolerancia de fallos a tu aparato de réplica.
Aunque el proceso de replicación puede tardar mucho tiempo, la ventaja es que se ejecuta en segundo plano, por lo que la interrupción real del modo de mantenimiento se reduce considerablemente.
Guía para configuraciones de clúster
En un clúster, se recomienda usar discos de datos múltiples solo para MySQL. Para minimizar el tiempo de inactividad, no migre MySQL a un disco adicional en el nodo mySQL principal actual. En su lugar, prepare un nuevo nodo que ya tenga configurado su disco dedicado y agréguelo al clúster como un nodo mySQL de réplica. Solo la promoción requiere una ventana de mantenimiento. Para minimizar el tiempo de inactividad, no migre MySQL a un disco adicional en el nodo mySQL principal actual directamente. En su lugar, prepare un nuevo nodo para unirse al clúster como un nodo MySQL de réplica y configure primero el disco multidados en él. A continuación, promueva el nuevo nodo a primario. Antes de comenzar, confirme que el nuevo nodo ejecuta la misma versión de parche que todos los demás nodos del clúster y no reutilice un nombre de host asignado previamente a un nodo del clúster.
Fase 1: Preparación del nuevo nodo
Completa estos pasos antes de que el nodo se una al clúster. Dado que el nodo aún no atiende el tráfico, esta fase no tiene ningún impacto en el clúster.
-
Para calcular los requisitos de espacio en disco, ejecute
du -sh /data/user/mysqlen el nodo mySQL principal actual. -
Aprovisione un nuevo nodo con espacio suficiente en su
/data/userdisco para los datos de MySQL replicados. El disco adicional que adjunte en la fase 3 también debe tener suficiente espacio para estos datos. -
Configure solo la dirección IP del nodo de reemplazo. No configure ninguna otra configuración o es posible que
ghe-cluster-config-applyno pueda acceder a ella.
Fase 2: Adición del nodo al clúster
Esta fase no requiere modo de mantenimiento y el clúster sigue atendiendo el tráfico en todo momento.
-
Agregue el nuevo nodo a
cluster.confcon elmysql-server = truepar clave-valor. Si GitHub Actions está habilitado en el clúster, incluya también elmssql-server = truepar clave-valor.Si el clúster ya tiene al menos un nodo de réplica de MySQL, también puede incluir el par clave-valor para aplazar la
skip-data-setup = trueinicialización de la base de datos. Aplazar la siembra permite que la ejecución de la configuración finalice antes y le permite iniciar la siembra manualmente en el momento que elija. Para obtener más información, vea Diferir la carga inicial de la base de datos. -
Para inicializar el nuevo nodo, desde el shell administrativo del nodo donde modificó
cluster.conf, ejecuteghe-cluster-config-init. -
Para aplicar la configuración, ejecute
ghe-cluster-config-apply. -
Si aplaza la inicialización de la base de datos, inicialice los datos manualmente. En el nuevo nodo, dentro de una
screensesión, ejecute el comando siguiente, reemplazando porPRIMARY_IPla dirección IP del nodo mySQL principal.Shell /usr/local/share/enterprise/ghe-mysql-repl-start PRIMARY_IP
/usr/local/share/enterprise/ghe-mysql-repl-start PRIMARY_IP -
Espere a que finalice la replicación de MySQL. Para supervisar la replicación desde cualquier nodo del clúster, ejecute
ghe-cluster-status -v.
Fase 3: Configuración de varios discos en el nuevo nodo
Una vez finalizada la replicación de MySQL, habilite el modo de mantenimiento en la nueva réplica. El resto del clúster sigue sirviendo tráfico mientras usted configura varios discos y migra MySQL en el nuevo nodo. Dado que ghe-storage-migrate-mysql inicia MySQL, espere hasta que el nodo se haya unido al clúster antes de migrar. La migración tarda más porque el nodo ya tiene una copia de los datos, pero es más seguro que migrar MySQL en el servidor principal.
-
En la nueva réplica, conecte el disco adicional para MySQL. A continuación, configure varios discos y migre MySQL siguiendo las instrucciones de Configuración de varios discos de datos y rutas de acceso de datos.
-
Salga del modo de mantenimiento en la nueva réplica.
-
Ejecute
ghe-cluster-statuspara confirmar que el clúster está en buen estado.
Fase 4: Ascender el nuevo nodo
La promoción requiere una ventana de mantenimiento y es el único paso de este procedimiento que provoca tiempo de inactividad. Para promover el nuevo nodo al nodo principal de MySQL, siga el procedimiento de Reemplazar un nodo de agrupación, empezando por el paso en el que se habilita el modo de mantenimiento.
Al igual que con las topologías de alta disponibilidad, la replicación se ejecuta en segundo plano, por lo que la interrupción del modo de mantenimiento se limita a la promoción.
Fase 5: Reemplazar los nodos de réplica de MySQL restantes
Una vez completada la promoción y se ha deshabilitado el modo de mantenimiento, se recomienda repetir este procedimiento para cada nodo de réplica mySQL restante, de modo que cada nodo mySQL del clúster use un disco dedicado. Reemplazar los nodos de réplica no requiere una ventana de mantenimiento, ya que no está promocionando un nuevo primario.
También se recomienda que cada nodo de reemplazo ejecute el mismo conjunto de bases de datos que el nodo que reemplaza, como MSSQL y Redis. Estas bases de datos permanecen en su estado de réplica en los nuevos nodos.
Ejemplo: configuración de discos adicionales
En este ejemplo se muestran los comandos y salidas necesarios para la inicialización de disco y la migración de datos. En concreto, /data/user/mysql se migra a /data/multi-disk/db/mysqly /data/user/repositories se migra a /data/multi-disk/git/repositories. Además, los registros del sistema se migran a /data/multi-disk/systemlogs/logy GitHub los registros se migran a /data/multi-disk/githublogs.
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-multi-disk status
Checking system status...
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-multi-disk info
Dumping disk status and information...
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme2n1 db
Starting initialization sequence for /dev/nvme2n1 at /data/multi-disk/db...
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme3n1 git
Starting initialization sequence for /dev/nvme3n1 at /data/multi-disk/git...
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme4n1 systemlogs
Starting initialization sequence for /dev/nvme4n1 at /data/multi-disk/systemlogs...
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme5n1 githublogs
Starting initialization sequence for /dev/nvme5n1 at /data/multi-disk/githublogs...
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-migrate-mysql db
Start MySQL migration to /data/multi-disk/db...
Running checks..
Error: maintenance mode must be enabled before being able to proceed.
ERROR: Last Command: return 1 LINE: 36 ghe-storage-migrate-mysql
Script exited with exit code: 1
admin@ghe-test-primary:~$ ghe-maintenance -s
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-migrate-mysql db
Start MySQL migration to /data/multi-disk/db...
Success: /data/user/mysql moved to /data/multi-disk/db/mysql
Script exited with exit code: 0
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-migrate-repositories git
Start repository migration to /data/multi-disk/git...
Success: /data/user/repositories moved to /data/multi-disk/git
Script exited with exit code: 0
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-migrate-logs systemlogs
Start log migration to /data/multi-disk/systemlogs...
Success: /var/log moved to /data/multi-disk/systemlogs/log
Please restart the GitHub Enterprise instance to apply the changes.
Script exited with exit code: 0
admin@ghe-test-primary:~$ sudo reboot
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-migrate-github-logs githublogs
Error: Config apply currently in progress. Please wait for it to finish...
# Wait for config apply to finish
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-migrate-github-logs githublogs
Start github log migration to /data/multi-disk/githublogs...
Success: moved to /data/multi-disk/githublogs
Script exited with exit code: 0
admin@ghe-test-primary:~$ ghe-maintenance -u
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-multi-disk status
Checking system status...
Multi disk setup is enabled...
Potential disks are automatically mounted on startup...
# Disk check
Detected multi disk path at /data/multi-disk/db...
/data/multi-disk/db is set up correctly for multi disk use.
Detected multi disk path at /data/multi-disk/git...
/data/multi-disk/git is set up correctly for multi disk use.
Detected multi disk path at /data/multi-disk/githublogs...
/data/multi-disk/githublogs is set up correctly for multi disk use.
Detected multi disk path at /data/multi-disk/systemlogs...
/data/multi-disk/systemlogs is set up correctly for multi disk use.
# Service migration check
MySQL migration was detected...
/data/user/mysql -> /data/multi-disk/db/mysql is correctly symlinked.
Repositories migration was detected...
/data/user/repositories -> /data/multi-disk/git/repositories is correctly symlinked.
GitHub current log migration was detected...
/data/github/current/log -> /data/multi-disk/githublogs/github-current-log is correctly symlinked.
GitHub shared log migration was detected...
/data/github/shared/log -> /data/multi-disk/githublogs/github-shared-log is correctly symlinked.
Logs migration was detected...
/var/log -> /data/multi-disk/systemlogs/log is correctly symlinked.
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-multi-disk info
Dumping disk status and information...
# Multi disk configuration /data/user/multi-disk-config:
DISK_DB="lvm"
DISK_GIT="lvm"
DISK_SYSTEMLOGS="lvm"
DISK_GITHUBLOGS="lvm"
MYSQL_MIGRATION_PATH="/data/multi-disk/db/mysql"
REPOSITORIES_MIGRATION_PATH="/data/multi-disk/git/repositories"
# Multi-disk logs path is stored in /etc/multi-disk/ghe-multi-disk-logs-mount
GHCURRENT_LOG_MIGRATION_PATH="/data/multi-disk/githublogs/github-current-log"
GHSHARED_LOG_MIGRATION_PATH="/data/multi-disk/githublogs/github-shared-log"
ENABLE_MULTI_DISK_LOGS_MOUNT=true
LOGS_MIGRATION_PATH=/data/multi-disk/systemlogs/log
admin@ghe-test-primary:~$ ls /var/log/multi-disk/
ghe-storage-init-db.log ghe-storage-init-git.log ghe-storage-migrate-github-logs.log ghe-storage-migrate-mysql.log ghe-storage-init-githublogs.log ghe-storage-init-systemlogs.log ghe-storage-migrate-logs.log ghe-storage-migrate-repositories.log
Comprobaciones de higiene
Tanto /usr/local/share/enterprise/ghe-storage-multi-disk status como /usr/local/share/enterprise/ghe-storage-multi-disk info son útiles para comprobar la configuración.
Para ver la configuración actual de varios discos, use:
$ cat /data/user/multi-disk-config
DISK_DB="lvm"
DISK_GIT="lvm"
DISK_SYSTEMLOGS="lvm"
DISK_GITHUBLOGS="lvm"
MYSQL_MIGRATION_PATH="/data/multi-disk/db/mysql"
REPOSITORIES_MIGRATION_PATH="/data/multi-disk/git/repositories"
# Multi-disk logs path is stored in /etc/multi-disk/ghe-multi-disk-logs-mount
GHCURRENT_LOG_MIGRATION_PATH="/data/multi-disk/githublogs/github-current-log"
GHSHARED_LOG_MIGRATION_PATH="/data/multi-disk/githublogs/github-shared-log"
$ cat /etc/multi-disk/ghe-multi-disk-logs-mount
ENABLE_MULTI_DISK_LOGS_MOUNT=true
LOGS_MIGRATION_PATH=/data/multi-disk/systemlogs/log
Para revisar los registros de varios discos, incluidos los eventos de inicialización y migración de disco, ejecute:
$ ls -l /var/log/multi-disk/
total 64
-rw-r--r-- 1 root root 2115 Feb 13 16:32 ghe-storage-init-db.log
-rw-r--r-- 1 root root 2478 Feb 13 16:36 ghe-storage-init-githublogs.log
-rw-r--r-- 1 root root 2114 Feb 13 16:36 ghe-storage-init-git.log
-rw-r--r-- 1 root root 2378 Feb 13 16:36 ghe-storage-init-systemlogs.log
-rw-r--r-- 1 root root 20450 Feb 13 17:27 ghe-storage-migrate-github-logs.log
-rw-r--r-- 1 root root 1053 Feb 13 17:15 ghe-storage-migrate-logs.log
-rw-r--r-- 1 root root 2460 Feb 13 16:38 ghe-storage-migrate-mysql.log
-rw-r--r-- 1 root root 19011 Feb 13 16:42 ghe-storage-migrate-repositories.log
Comandos para administrar varios discos
Estos comandos permiten agregar varios discos y migrar servicios específicos o rutas de acceso de carpeta a esos discos. Las rutas de acceso de carpeta originales se conservan y permanecen estáticas. Otros servicios no saben que ha cambiado nada. Las rutas de acceso a carpetas estáticas están vinculadas de forma simbólica a las rutas de acceso recién migradas.
Los comandos incluyen:
-
ghe-storage-multi-disk
statusinitinfomountstart-services(solo se recomienda para la depuración de errores)stop-services(solo se recomienda para la depuración de errores)
-
ghe-storage-migrate-repositories
- Migra
/data/user/repositoriesa cualquier ruta de acceso de disco creada medianteghe-storage-multi-disk init.
- Migra
-
ghe-storage-migrate-mysql
- Migra
/data/user/mysqla cualquier ruta de acceso de disco creada medianteghe-storage-multi-disk init.
- Migra
-
ghe-storage-migrate-logs
- Migra
/var/loga cualquier ruta de acceso de disco creada medianteghe-storage-multi-disk init.
- Migra
-
ghe-storage-migrate-github-logs
- Migra
/data/github/current/logy/data/github/shared/loga cualquier ruta de acceso de disco creada medianteghe-storage-multi-disk init.
- Migra