Server down

Wie vielleicht einige festgestellt habe, war mein Server dieses Wochenende down.
Ursache: ein Skript welches durch ein Programmierfehler Amok gelaufen ist. Dadurch wurde quasi alles auf dem Server gelöscht.
Aber das war Murphy noch nicht genug.
Erst musste ich feststellen, dass das per Duplicity erstelle Backup nicht allzu neu war. Gleich danach kam die Erkenntnis, dass das Backup teilweise korrupt war:

Invalid data - SHA1 hash mismatch:
Calculated hash: ac1777d8b234e84e828f9f6a217d19efeea25520
Manifest hash: 6ba474192fe73f4bced06fff403f29e36ecae7a4

sowie

gpg: [don't know]: invalid packet (ctb=14)

Das die Backuplösung nicht robust gegen solche Fehler ist und beim Fehler damit komplett abbricht, spricht nicht gerade für die Lösung.
Wobei mich duplicity schon länger genervt hat: wenn beispielsweise das Passwort falsch ist, bekommt man nur einen gnupg Fehler 2 - den eigentlichen Fehler bekommt man erst raus, wenn man das Debuglevel höher setzt

Aber das war Murphy immer noch nicht genug..
Nachdem mich das Backup schon in einem Zustand des Dauerkotzens brachte, verabschiedete sich auch noch meine /var/www-Partition. Selbst ein fsck.ext3 konnte nichts mehr reparieren. Nach jedem fsck wurde es quasi schlimmer. Selbst nach dem zehnten Durchgang crashte der komplette Server beim Zugriff auf diverse Dateien.
Ein physikalischen Defekt würde ich ausschließen, da die Partition auf einem Mirror-RAID liegt.


Nun ja, mein Blog ist nach zwei Tagen Arbeit wiederhergestellt - zum einen Dank einem lokalen Datenbank-Backup und zum anderen Dank des Google-Caches
Leider sind dadurch zehn Kommentare verloren gegangen - eventl. ziehe ich die demnächst nach.