Esse é o tipo de coisa legal que fazemos com nossos patrocinadores e você vai nos ajudar a fazer brainstorming.

"Uma das coisas mais confusas sobre os modelos agora: como conciliar o fato de que eles estão indo tão bem nas avaliações. E você olha para as avaliações e pensa: 'Essas são avaliações bem difíceis.' Mas o impacto econômico parece estar dramaticamente atrasado. Há [uma possível] explicação. Na época em que as pessoas faziam pré-treinamento, a questão de quais dados treinar era respondida, porque essa resposta era tudo. Então você não precisa pensar se vai ser esse ou aquele dado. Quando as pessoas fazem treinamento de RL, dizem: 'Ok, queremos ter esse tipo de treinamento de RL para isso e aquele tipo de treinamento de RL para aquilo.' Você diz: 'Ei, eu adoraria que nosso modelo fosse muito bom quando o lançarmos. Quero que as avaliações fiquem ótimas. Qual seria o treinamento de vida real que poderia ajudar nessa tarefa?' Se você combinar isso com a generalização de que os modelos são realmente inadequados, isso pode explicar muito do que estamos vendo, essa desconexão entre desempenho avaliativo e desempenho real no mundo real"

"Existem muito mais empresas do que ideias. Compute é grande o suficiente para que não seja óbvio que você precise de muito mais computação para provar alguma ideia. AlexNet foi construído com 2 GPUs. O transformador foi construído com 8 a 64 GPUs. O que seria, o quê, 2 GPUs de hoje? Você poderia argumentar que o raciocínio O1 não era a coisa mais pesada em computação do mundo. Para pesquisa, você definitivamente precisa de alguma quantidade de computação, mas está longe de ser óbvio que você precise da maior quantidade possível. Se todos estiverem dentro do mesmo paradigma, então a computação se torna um dos grandes diferenciadores." @ilyasut