Proxmox Cluster bleibt stehen ceph-fs voll

Bei einem Kunden ist es vorgekommen das das ceph-fs voll gelaufen ist und auf einer der OSD-Volumes 95% des Platzes belegt war.

Daraufhin ist der gesamte Proxmox-Cluster stehen geblieben und alle Virtuellen Maschinen sind gecrasht.

Die Virtuellen Maschinen liessen sich auch nicht wieder starten, da kein Platz mehr auf den Volumes eines Cluster-Nodes war.

Da kein Platz mehr verfügbar ist auf dem einen der Volumes, wollten wir eine nicht mehr benötigte Virtuelle Maschine löschen.

Auf Dateisystem-Ebene haben wir nur Fehler-Meldungen bekommen, da das System angeblich kein Platz mehr hatte.
(Auf den anderen Cluster-Nodes war sehr wohl noch freier Platz)

Um nun die alten Daten zu löschen um Platz auf dem Datei-System zu bekommen haben wir dann die full-ratio kurzzeitig angehoben damit
das System wieder etwas "Luft" hat zum arbeiten.

Auf allen Cluster-Nodes haben wir im ceph-fs die Ratio von 95% auf 98% erhöht.

Damit konnten wir die kleine Speichermenge erhöhen um wieder Platz zu schaffen.

Auf allen Nodes in der root-Konsole folgenden Befehl eingeben.

# ceph  pg set_full_ratio 0.98

Dies muss man danach wieder zurück stellen damit das System wieder mit den "Standard-Parametern" arbeitet.

# ceph  pg set_full_ratio 0.95

Dieser Trick hat uns den nötigen Platz geschaffen um das System wieder zum Laufen zu bekommen.

Viel Spass euer Admin.