Lunes bendito

Normalmente los lunes no tienen nada de bendito, habría que prohibirlos, pero hoy ha sido eso precisamente, y así tendrían que ser siempre.

Nos habíamos quedado con un servidor que no arrancaba y que tenía mu mala pinta. El viernes dejé corriendo unos diagnósticos sobre uno de los discos y esta mañana he ido a ver el resultado. Estaba bien, así que lanzo de nuevo el test para el otro disco, y lo dejo corriendo.

Al cabo de un par de horas vuelvo y ya había terminado, también correctamente. Mando un fichero de log con los resultados al soporte técnico y al cabo de un rato me responden. Dicen que parece que físicamente los discos están bien, que el fallo puede ser del sistema de archivos, que por alguna razón se ha corrompido. Sugieren que intente arrancar con el otro disco y recupere todos los datos que pueda para a continuación volver a crear el RAID 1 y reinstalar.

Hago eso. Extraigo el disco con el que arranqué el viernes y dejo solamente pinchado el otro. Entro en la BIOS de la tarjeta RAID para ponerlo online y reinicio. Vuelve a salir el Grub y comienza a cargarse el RedHat. Igual que el otro día hace un fsck a los sistemas de archivos y... sorpresa, cuando llega a la parte donde se inician los servicios empiezan a arrancar correctamente uno detrás de otro, poniendo en todos un bonito [ Ok ].

No me lo puedo creer, miro el log del sistema en busca de fallos o errores y nada, está todo perfecto. Para asegurarme, paro y reinicio el servidor un par de veces más, y todas ellas arranca bien. Después pincho el disco que había dejado desconectado y al hacerlo los leds comienzan a parpadear frenéticamente y lo que es más importante, pasan del color ambar al verde. Significa que se está reconstruyendo el mirror y que he salvado el día. Paso un mensaje a los usuarios y comienzan a trabajar en él, sin que haya pasado nada más el resto de la mañana.

Un par de horas después de pasada la crisis me llega por paquetería un switch para sustituir a uno de los que petaron con el SAI la semana pasada. Al final hice lo que recomendaba cada persona a la que le conté el caso, que era llamar por uno de ellos a la empresa con la que tenemos contratado el mantenimiento haciéndome el tonto, para que me lo sustituyeran.

Lo he sacado del paquete y he comprobado que el modelo era exactamente igual al que cascó. No se, yo me esperaba que después de cinco años en el mercado lo hubieran cambiado un poco por fuera, o que el número de modelo fuese algo distinto, pero no, era idéntico al anterior.

Tengo guardadas a buen recaudo las configuraciones de todos los switches, así que ha sido cuestión de minutos cargársela de nuevo y ver que arrancaba bien. He avisado a los usuarios para que supieran que probablemente se quedarían sin red esa misma tarde, y lo he colocado en el armario, quitando el cutre hub que había colocado como emergencia para salir del paso.

A ver como sigue la semana, porque esto de que empiece tan bien no puede ser normal.