ibtop acabou de nos poupar muito tempo de depuração. o cluster tinha um desempenho de all-reduce horrível, mas verificar a configuração do infiniband entre os nós mostrou o problema imediatamente (veja a captura de tela de dois nós). Eu posso passar mais tempo na ferramenta para torná-la mais amigável à automação.