*schwitz* … Manchmal reicht ein
# apt-get update && apt-get dist-upgrade
um einem den Schweiß auf die Stirn zu treiben.
Vorgeschichte
Ein ganz normaler Abend in einer ganz normalen Kleinstadt. Eine ssh Session zu einem Debian root-Server auf einem weiteren screen. MySQL wurde zurückgehalten. Alles zur neuen Version: 5.5.30-1~dotdeb.0 recherchieren, Testumgebung umstellen und erneut alle Dienste testen. Supi, also kann der root auch angehoben werden. Nochmal Backups der Webseiten und aller Datenbanken inkl. einem rsync auf mein lokales NAS und schon kanns losgehen.
# apt-get update && apt-get dist-upgrade
mysql-server wird erfolgreich installiert. Ich beschließe mir einen Kaffee zu holen und dann das Upgrade zu testen.
Roter Monitor
Nach ca. 5 Minuten, länger war es auf keinen Fall, komme ich zurück und mein Bildschirm ist am blinken.
- Shinken (Monitoring) meldet mir Serverausfall SQL Dienst
- E-Mailkonto mit den Serverstatusmeldungen wird gerade geflutet
- Das Ticketsystem ist am blinken
- ich bekomme 2 SMS mit dem bestätigtem Ausfall des SQL Dienstes
Ich rufe zaghaft meinen SQL Dumper dieses Servers auf … Database error … DAMN F*** §$%&/§(!!!!! Kurzentschlossen den Spiegelserver ans Netz und das DNS Script laufen lassen. So, durchatmen. Checkliste
- Backup: da
- Spiegelroot: läuft
- ssh: erreichbar
- Kaffee: noch warm
