Ausgangslage
Mein Proxmox-Cluster besteht aus drei Nodes. prox02 läuft auf einem kompakten Intel-NUC mit 32 GB RAM (2 × 16 GB DDR4) und einer 2-TB-NVMe-SSD. Ein Ping-Monitoring meldet mir, wenn ein Node nicht mehr antwortet.
Problem
Die Fehlersuche lief in drei Schritten.
1. Arbeitsspeicher. Ich habe Memtest86+ (v8.10, die Linux-ISO in der 64-Bit-Variante) auf einen USB-Stick geschrieben und über Nacht laufen lassen. Ergebnis: fünf vollständige Durchläufe in knapp acht Stunden, null Fehler, Temperatur unter Dauerlast 61 bis 64 °C. Der RAM ist damit sehr wahrscheinlich nicht die Ursache.
2. Logs. Mit dem Befehl journalctl mit den Optionen -b -1 -e habe ich das Ende des Journals vom Absturz-Boot angesehen. Es bricht mitten im Normalbetrieb ab, ohne Kernel-Panic, ohne Machine-Check-Meldung und ohne I/O-Fehler. Auch das Verzeichnis für Crashdumps (pstore) war leer. Das Muster passt zu einem harten Wegbrechen: Das System war plötzlich weg, bevor es noch etwas loggen konnte. Auffällig waren nur regelmässige USB-Resets eines CD-ROM-Geräts, vermutlich das virtuelle Laufwerk meines IP-KVMs. Das halte ich für Rauschen und nicht für die Ursache.
3. NVMe-SSD. Die SMART-Werte (smartctl -a) sind unauffällig: Status PASSED, 3 % Verschleiss, keine Media-and-Data-Integrity-Errors. Die 325 Einträge im Error-Log sind harmlose „Invalid Field in Command“-Meldungen auf der Admin-Queue. Interessant ist ein anderer Wert: Die Zahl der Unsafe Shutdowns ist hoch. Bei über der Hälfte aller Starts wurde die SSD ohne sauberes Herunterfahren vom Strom getrennt. Das Problem ist demnach nicht neu. Zusätzlich lag der Controller-Sensor zeitweise bei 79 °C, mit insgesamt 75 Sekunden Thermal-Throttling. Das friert kein System ein, ist aber einen Kühlkörper wert.
Auflösung (vorläufig)
Übrig blieben Netzteil, Firmware und Energieverwaltung. Ich habe zuerst die Firmware angepackt:
- BIOS-Update von Version 0080 auf 0082. Die Release-Notes nennen nur ein Security-Update, einen Freeze-Fix verspricht niemand. Aber so ist die Firmware als Ursache ausgeschlossen. Die Downloads für die Intel-NUCs liegen übrigens inzwischen bei ASUS, und der BIOS-Bereich auf der Seite sieht ausgegraut aus, ist aber anklickbar.
- Flashen über das IP-KVM. Ich habe die BIOS-Datei in ein kleines FAT32-Image gepackt, im KVM als Disk (nicht als CD-ROM) eingebunden und beim Booten das F7-Update gestartet. Die Datei wurde sofort erkannt.
- Power-Drain. Bei ausgeschaltetem NUC habe ich das Netzteil vom Strom getrennt und kurz gewartet, um Restspannung und Embedded Controller zurückzusetzen.
- Energieeinstellung „After Power Failure“ bewusst auf „Stay Off“. Sonst startet der NUC nach einem Stromverlust von selbst und ich kann Strom und Freeze nicht unterscheiden. Bleibt er aus, war der Strom weg. Leuchtet er, aber ist nicht erreichbar, war es ein Freeze.
Ob das Update oder der Power-Drain etwas gebracht hat, weiss ich noch nicht, und ich habe beides bewusst gleichzeitig gemacht. Falls der Fehler wiederkommt, bleiben als nächste Schritte der Tausch des Netzteils und das Begrenzen der tiefen C-States im BIOS.
Lessons Learned
- Zuerst die einfach ausschliessbaren Ursachen testen: Memtest über Nacht kostet nichts und streicht den RAM von der Liste.
- Ein Journal, das ohne Fehlermeldung abbricht, deutet auf Hard-Freeze oder Stromverlust, nicht auf Software.
- Der Zähler für Unsafe Shutdowns in den SMART-Daten ist eine gute Messgrösse. Ich habe den aktuellen Wert notiert und vergleiche beim nächsten Vorfall.
- Immer nur eine Änderung auf einmal, sonst weiss man nicht, was geholfen hat. Das habe ich hier selbst nicht ganz eingehalten.
- Nach einem BIOS-Update die Einstellungen kontrollieren, da sie auf Standard zurückfallen können.
- Remote-Logging ist noch offen: Ein Syslog an Graylog hätte die letzten Sekunden vor dem Ausfall gesichert. Das hole ich nach.
- Nicht jede Auffälligkeit im Log ist die Ursache. Die USB-Resets waren ein Ablenker.
Fazit
Die Ursache ist noch nicht bestätigt, aber RAM und SSD sind gesund, die Firmware ist aktuell und mit „Stay Off“ kann ich den nächsten Ausfall sauber einordnen. Ich beobachte prox02 jetzt ein paar Tage und ergänze diesen Beitrag, sobald es Neuigkeiten gibt.