trông quen quen !
CreativeMath
CreativeMath04:59 18 thg 10
Toán học thuần túy liên quan đến LLMs: Các token không liên quan (như "chó" và "mặt trời") nên tương ứng với các vector trực giao trong không gian nhúng. Vậy, trong ℝ^k, số lượng vector trực giao cặp tối đa là bao nhiêu? Còn nếu chúng chỉ "gần" trực giao, tức là ∣vi⋅vj∣<ε, ∀ i≠j thì sao?
tóm lại,
@boops_u (mặc dù tất nhiên nó là logarit theo số điểm) nên nếu nó không phát nổ trong chiều cơ sở, thì bạn hoàn toàn đúng và đây là một hệ quả!
@boops_u bạn có biết xác suất/lỗi trong kích thước của không gian cơ sở là gì không? Trong JL, chúng tôi thường giả định điều này là hằng số khi số điểm lớn (và hỏi cách không gian chiếu thay đổi ra sao)
@boops_u (tôi nghĩ điều này có chút nghi ngờ vì sự bất bình đẳng này rất phụ thuộc vào kích thước của trường cơ sở, vì đây là điều mang lại cho chúng ta sự tập trung ngay từ đầu... vì vậy tôi không hoàn toàn chắc chắn!)
@boops_u (đối với cái này, "trực giác" của tôi là một cơ sở tốt sẽ ~ hủy bỏ về không trung bình, vì vậy chuẩn của nó cũng nên gần bằng không)
62,63K