ibtop hat uns gerade viel Debugging-Zeit gespart. Der Cluster hatte eine schreckliche All-Reduce-Leistung, aber die Überprüfung der Infiniband-Konfiguration über die Knoten hinweg hat das Problem sofort aufgezeigt (siehe Screenshot von zwei Knoten). Ich könnte mehr Zeit mit dem Tool verbringen, um es automatisierungsfreundlicher zu gestalten.