Fügt Ihre Transformer-Bibliothek das FFN in einen einzigen "Flash"-Kernel zusammen? Ich denke, es sind massive Gewinne möglich, ich bin neugierig, was die gängige Praxis und der Stand der Forschung (SOTA) ist?
20,13K