Thư viện transformer của bạn có hợp nhất FFN thành một kernel "flash" không? Tôi nghĩ có thể đạt được những lợi ích lớn, tò mò về thực tiễn phổ biến và nghiên cứu SOTA là gì?
20,13K