*schwitz* … Manchmal reicht ein

# apt-get update && apt-get dist-upgrade

um einem den Schweiß auf die Stirn zu treiben.

Vorgeschichte

Ein ganz normaler Abend in einer ganz normalen Kleinstadt. Eine ssh Session zu einem Debian root-Server auf einem weiteren screen. MySQL wurde zurückgehalten. Alles zur neuen Version: 5.5.30-1~dotdeb.0 recherchieren, Testumgebung umstellen und erneut alle Dienste testen. Supi, also kann der root auch angehoben werden. Nochmal Backups der Webseiten und aller Datenbanken inkl. einem rsync auf mein lokales NAS und schon kanns losgehen.

# apt-get update && apt-get dist-upgrade

mysql-server wird erfolgreich installiert. Ich beschließe mir einen Kaffee zu holen und dann das Upgrade zu testen.

Roter Monitor

Nach ca. 5 Minuten, länger war es auf keinen Fall, komme ich zurück und mein Bildschirm ist am blinken.

• Shinken (Monitoring) meldet mir Serverausfall SQL Dienst
• E-Mailkonto mit den Serverstatusmeldungen wird gerade geflutet
• Das Ticketsystem ist am blinken
• ich bekomme 2 SMS mit dem bestätigtem Ausfall des SQL Dienstes

Ich rufe zaghaft meinen SQL Dumper dieses Servers auf … Database error … DAMN F*** §$%&/§(!!!!! Kurzentschlossen den Spiegelserver ans Netz und das DNS Script laufen lassen. So, durchatmen. Checkliste

• Backup: da
• Spiegelroot: läuft
• ssh: erreichbar
• Kaffee: noch warm

Ich fange mit den Logs an. Keine Fehler bis ca. 2 Minuten nach dem Update. Einige Dienste wollen auf die DB zugreifen

# vi /var/log/syslog
/mysqld_safe

...  server1 mysqld_safe[11857]: Installation of system tables failed!  Examine the logs in
... server1 mysqld_safe[11857]: /var/lib/mysql for more information.

/var/lib/mysql  ist natürlich leer .. Dann gehen die Probleme los :) ispconfig mal als Beispiel

authdaemond: failed to connect to mysql server (server=localhost, userid=ispconfig): Can't connect to local MySQL server through socket '/var/run/mysqld/mysqld.sock' (2)

Probieren wir mal was Apt zu den letzten Vorgängen sagt

# apt-get update
# apt-get upgrade
# apt-get dist-upgrade

Alles OK. Die suche nach mysql-server ergibt, dass dieser installiert ist.

# service mysql --status-all
#

Da fehlt doch was???

# cat /etc/init.d/mysql
#

Da ist auch nichts mehr. Manchmal helfen simple Mittel (Die Datenbanken bleiben bei diesem Schritt erhalten! Es muss nur das mysql root Passwort neu vergeben werden. Ein Backup schadet trotzdem nichts!!)

# apt-get --reinstall install mysql-server

Kurz noch einmal mittels der services testen

# service  mysql --status-all
Usage: /etc/init.d/mysql start|stop|restart|reload|force-reload|status
#

Einen kurzen Blick in die Logs (jetzt bekomme ich schon die E-Mail mit Status OK von Shinken) und alles ist schön. Noch ein paar E-Mails löschen, die Tickets bearbeiten und feststellen das der Kaffee kalt ist :( DAMN.

Anmerkung

Ein solcher „Fehler“ ist nichts weltbewegendes. Ich weiß nicht ein mal ob sich dieser Beitrag wirklich als Beitrag versteht. Aber eins ist klar. Er zeigt wie wichtig Backup-Strategien sind! Ein anderer Fehler, keine redundanten Systeme, Spiegel oder Backups und es geht sehr schnell das Server nicht (mehr) erreichbar sind. Shit happens … „GEIZ IST GEIL“ Gesellschaft!! Und eine Backup-Strategie ist keine Lebensversicherung … sie ist höherwertiger!