Nghe nói các bạn thích giao diện người dùng 👀

vừa đẩy môi trường RL đa lượt đầu tiên của tôi lên @PrimeIntellect cài đặt: mô hình nhận tiêu đề câu chuyện + câu hỏi từ QuALITY (câu chuyện dài, câu hỏi trắc nghiệm). công cụ duy nhất: tìm kiếm RAG agentic qua câu chuyện.

nghe nói các bạn thích tuis

triển vọng khởi động một hệ sinh thái mã nguồn mở cho RL chính là điều đã thu hút tôi đến với các xác minh viên và @PrimeIntellect

Xây dựng môi trường RL thật tuyệt. Làm điều tương tự với các trình xác minh/PI gần như gây nghiện. Cảm giác như một trò chơi, haha, vừa mới xây dựng vài môi trường đầu tiên trong hệ sinh thái này và tôi không nghĩ mình có thể hoặc muốn dừng lại. Tuần này tôi sẽ cố gắng chuyển tất cả các môi trường tôi đã xây dựng trong năm nay và đẩy chúng lên hub.

các môi trường rl mã nguồn mở có thể là phần quan trọng nhất để đảm bảo agi mã nguồn mở

Tôi sẽ thú nhận rằng tôi có một sứ mệnh rất cụ thể trong đầu với dự án này. Việc triển khai beta riêng tư nửa vời là một phần trong đó. Bộ nhiệm vụ mà chúng tôi đang tìm kiếm là một phần trong đó. Các phần thưởng GPU là một phần trong đó. Các bài viết hài hước là một phần trong đó. Các podcast là một phần trong đó. Sự chú ý là rất quan trọng ở đây. Để tôi giải thích. Hiện tại, rất nhiều cuộc thảo luận xung quanh các môi trường RL tập trung vào làn sóng khởi nghiệp mới này, mô hình kinh doanh của họ là xây dựng và bán các môi trường cho một số phòng thí nghiệm lớn trên cơ sở độc quyền. Mechanize là cái ồn ào nhất, nhưng có một số khác. Thay vì chi tiền cho các mẫu và chú thích điều chỉnh hướng dẫn, các phòng thí nghiệm rất muốn mua các môi trường riêng tư như là nguồn tài nguyên tiêu thụ lớn tiếp theo cho việc đào tạo mô hình. Hiện tượng này vừa là một rủi ro nghiêm trọng đối với triển vọng của các mô hình mã nguồn mở vẫn giữ được tính cạnh tranh, vừa là một cơ hội lớn để thay đổi cán cân nếu chúng ta có thể chuyển dịch trọng tâm. Nếu các môi trường tốt đều đắt đỏ và bị ẩn giấu, các mô hình mã nguồn mở sẽ càng tụt lại phía sau. Đây thực chất là điều đã xảy ra với dữ liệu tiền huấn luyện. Nhưng nếu một hệ sinh thái công cụ mã nguồn mở đủ mạnh mẽ cho các môi trường và đào tạo có thể xuất hiện, thì tùy chọn mã nguồn mở cũng có thể trở thành công nghệ tiên tiến nhất. Đây là điều đã xảy ra với pytorch. Thay đổi cán cân ở đây là mục tiêu của tôi. Mục tiêu của chúng tôi. Tôi gia nhập Prime Intellect vì mọi người đều cực kỳ tài năng, rất nghiêm túc về sứ mệnh AGI mã nguồn mở cho mọi người và không ngại nói ra điều đó, và vì đội ngũ có một lợi thế cấu trúc duy nhất có nghĩa là chúng tôi có thể thực sự thực hiện một số cú đánh thực sự. Chúng tôi bán tính toán. Chúng tôi xây dựng cơ sở hạ tầng để cải thiện những gì bạn có thể làm với tính toán đó. Chúng tôi nghiên cứu cách làm cho tính toán đó tương tác theo những cách mới. Chúng tôi đang đào tạo các mô hình lớn hơn và tốt hơn. Chúng tôi có những động lực đúng đắn để thực hiện công việc khó khăn và cần thiết. Tất cả những mảnh ghép này đều liên kết với nhau. Chúng tôi không thể làm điều đó một mình. Không ai có thể. Nó sẽ cần các công ty khởi nghiệp, doanh nghiệp, sinh viên và giáo sư trên toàn thế giới. Nghiên cứu mở hiện tại không có công cụ để nghiên cứu các câu hỏi mà các phòng thí nghiệm lớn đã coi là quan trọng nhất cho sự tiến bộ trong tương lai. Chúng tôi phải tìm cách xây dựng những công cụ đó. Chúng tôi đang cố gắng làm cho điều đó dễ dàng hơn. Tất cả chúng ta phải cải thiện khả năng làm việc cùng nhau, không tái phát minh bánh xe, lắp ráp các mảnh riêng lẻ thành những câu đố lớn hơn. Hãy lấy những gì chúng ta đã làm được cho đến nay, làm sạch nó, làm cho nó hoạt động cùng nhau, đưa nhiều người hơn vào cuộc, và bắt đầu chơi những trò chơi tích cực hơn. Nếu chúng ta không thể tìm ra những cách tốt hơn để làm việc cùng nhau, chúng ta đang hướng tới một tương lai AI mà chúng ta tập thể chỉ *không biết những mô hình này thực sự là gì*, vì bức màn không bao giờ được vén lên, và mọi thứ mà chúng ta thực sự có thể thấy chỉ là một món đồ chơi. Có một loại công ty khác mà bạn có thể xây dựng trong không gian này; một công ty vẫn cho phép bạn bán cho các phòng thí nghiệm lớn, nhưng không độc quyền; một công ty vẫn cho phép bạn có những bí mật thương mại và in ra ARR ngọt ngào, nhưng không làm cho chúng ta tập thể kém thông tin hơn về tương lai mà chúng ta đang xây dựng. Browserbase. Cursor. Exa. Modal. Morph. Và vô số cái khác. Hãy làm nhiều điều như vậy hơn. Bạn có thể xây dựng một công ty tuyệt vời bằng cách tạo ra các công cụ mạnh mẽ và các công cụ hỗ trợ cho các tác nhân phản ánh các nhiệm vụ có giá trị cao mà mọi người muốn các mô hình thực sự thực hiện. Có những yếu tố trong đó mà bạn có thể thử miễn phí, và những yếu tố được lưu trữ phía sau một API. Tính phí theo mức sử dụng với một số tính năng doanh nghiệp cao cấp. Xây dựng phiên bản excel hình dạng LLM tốt nhất, hoặc phiên bản figma, hoặc phiên bản turbotax. Thay đổi nó một chút để tránh bị kiện, và sau đó để khách hàng tư nhân thấy phiên bản mạnh mẽ hơn về mặt pháp lý. Tận hưởng một chút cạnh tranh lành mạnh trong đấu trường, và tìm cách hợp tác khi cần thiết. Tìm góc độ của bạn và trở nên xuất sắc đến mức bạn có thể bán cho mọi người, cho dù là cho RL hay cho việc sử dụng thực tế. Đạt được khối lượng quan trọng và trở nên đủ giá cả phải chăng đến mức không ai muốn cố gắng tái xây dựng những gì bạn đã tạo ra. Đây là dòng thời gian mà tôi hy vọng chúng ta sẽ kết thúc. Đó là một thế giới mà các phòng thí nghiệm lớn vẫn có thể làm tốt, và có thể sẽ cung cấp những cách dễ nhất để chi tiêu một chút nhiều hơn để có hiệu suất tổng thể cải thiện. Nhưng đó cũng là một nơi mà các mô hình mã nguồn mở không tụt lại quá xa, và mọi người quan tâm đủ có thể cơ bản thấy những gì đang diễn ra và hiểu cách mà các mô hình chúng ta sử dụng thực sự được đào tạo. Nếu bạn đang nghĩ đến việc bắt đầu hoặc tham gia một công ty tập trung vào các môi trường RL, tôi khuyên bạn nên suy nghĩ về dòng thời gian nào mà bạn đang ngầm đặt cược vào, và suy ngẫm về cảm giác của bạn về điều đó.

Tôi sẽ thú nhận rằng tôi có một sứ mệnh rất cụ thể trong đầu với dự án này. Việc triển khai beta riêng tư nửa mơ hồ là một phần của nó. Bộ nhiệm vụ mà chúng tôi đang tìm kiếm là một phần của nó. Các phần thưởng GPU là một phần của nó. Những bài viết hài hước là một phần của nó. Các podcast là một phần của nó. Sự chú ý là rất quan trọng ở đây. Để tôi giải thích. Hiện tại, rất nhiều cuộc thảo luận xung quanh các môi trường RL tập trung vào làn sóng khởi nghiệp mới này, mô hình kinh doanh của họ là xây dựng và bán các môi trường cho một số phòng thí nghiệm lớn trên cơ sở độc quyền. Mechanize là cái ồn ào nhất, nhưng có một số khác. Thay vì chi tiền cho các mẫu và chú thích điều chỉnh hướng dẫn, các phòng thí nghiệm rất muốn mua các môi trường riêng tư như là nguồn tài nguyên tiêu thụ lớn tiếp theo cho việc đào tạo mô hình. Hiện tượng này vừa là một rủi ro nghiêm trọng đối với triển vọng của các mô hình mã nguồn mở vẫn giữ được tính cạnh tranh, vừa là một cơ hội lớn để thay đổi cán cân nếu chúng ta có thể chuyển dịch trọng tâm. Nếu các môi trường tốt đều đắt đỏ và bị ẩn giấu, các mô hình mã nguồn mở sẽ càng tụt lại phía sau. Đây thực chất là điều đã xảy ra với dữ liệu tiền huấn luyện. Nhưng nếu một hệ sinh thái công cụ mã nguồn mở đủ mạnh mẽ cho các môi trường và đào tạo có thể xuất hiện, thì tùy chọn mã nguồn mở cũng có thể trở thành công nghệ tiên tiến nhất. Đây là điều đã xảy ra với pytorch. Thay đổi cán cân ở đây là mục tiêu của tôi. Mục tiêu của chúng tôi. Tôi gia nhập Prime Intellect vì mọi người đều cực kỳ tài năng, rất nghiêm túc về sứ mệnh AGI mã nguồn mở cho mọi người và không ngại nói ra điều đó, và vì đội ngũ có một lợi thế cấu trúc duy nhất có nghĩa là chúng tôi có thể thực sự thực hiện một số cú đánh thực sự. Chúng tôi bán tính toán. Chúng tôi xây dựng cơ sở hạ tầng để cải thiện những gì bạn có thể làm với tính toán đó. Chúng tôi nghiên cứu cách làm cho tính toán đó tương tác theo những cách mới. Chúng tôi đang đào tạo các mô hình lớn hơn và tốt hơn. Chúng tôi có động lực đúng đắn để thực hiện công việc khó khăn và cần thiết. Tất cả những mảnh ghép này đều liên kết với nhau. Chúng tôi không thể làm điều đó một mình. Không ai có thể. Nó sẽ cần các công ty khởi nghiệp, doanh nghiệp, sinh viên và giáo sư trên toàn thế giới. Nghiên cứu mở hiện tại không có công cụ để nghiên cứu các câu hỏi mà các phòng thí nghiệm lớn đã coi là quan trọng nhất cho sự tiến bộ trong tương lai. Chúng tôi phải tìm cách xây dựng những công cụ đó. Chúng tôi đang cố gắng làm cho điều đó dễ dàng hơn. Tất cả chúng ta phải cải thiện khả năng làm việc cùng nhau, không tái phát minh bánh xe, lắp ráp các mảnh riêng lẻ thành những câu đố lớn hơn. Hãy lấy những gì chúng ta đã làm được cho đến nay, làm sạch nó, làm cho nó hoạt động cùng nhau, đưa nhiều người hơn vào trong nhóm, và bắt đầu chơi những trò chơi tích cực hơn. Mọi thứ chúng tôi đã xây dựng đều nhằm mục đích làm cho điều này dễ dàng hơn. Nếu chúng tôi không thể tìm ra những cách tốt hơn để làm việc cùng nhau, chúng tôi đang hướng tới một tương lai AI mà chúng tôi tập thể chỉ *không biết những mô hình này thực sự là gì*, vì bức màn không bao giờ được vén lên, và mọi thứ chúng tôi có thể thực sự thấy chỉ là một món đồ chơi. Có một loại công ty khác mà bạn có thể xây dựng trong không gian này; một công ty vẫn cho phép bạn bán cho các phòng thí nghiệm lớn, nhưng không độc quyền; một công ty vẫn cho phép bạn có những bí mật thương mại và in ra ARR ngọt ngào, nhưng không làm cho chúng ta tập thể kém thông tin hơn về tương lai mà chúng ta đang xây dựng. Browserbase. Cursor. Exa. Modal. Morph. Và vô số cái khác. Hãy làm nhiều điều như vậy hơn. Bạn có thể xây dựng một công ty tuyệt vời bằng cách tạo ra các công cụ mạnh mẽ và các công cụ hỗ trợ cho các tác nhân phản ánh các nhiệm vụ có giá trị cao mà mọi người muốn các mô hình thực sự thực hiện. Có những yếu tố mà bạn có thể thử miễn phí, và những yếu tố được lưu trữ phía sau một API. Tính phí theo mức sử dụng với một số tính năng doanh nghiệp cao cấp. Xây dựng phiên bản excel hình dạng LLM tốt nhất, hoặc phiên bản figma, hoặc phiên bản turbotax. Thay đổi nó một chút để tránh bị kiện, và sau đó để khách hàng tư nhân thấy phiên bản mạnh mẽ hơn về mặt pháp lý. Tận hưởng một chút cạnh tranh lành mạnh trong lĩnh vực này, và tìm cách hợp tác nơi cần thiết. Tìm góc độ của bạn và trở nên xuất sắc đến mức bạn có thể bán cho mọi người, cho dù là cho RL hay cho việc sử dụng thực tế. Đạt được khối lượng quan trọng và trở nên đủ giá cả để không ai thấy đáng để cố gắng tái xây dựng những gì bạn đã tạo ra. Đây là dòng thời gian mà tôi hy vọng chúng ta sẽ kết thúc. Đó là một thế giới mà các phòng thí nghiệm lớn vẫn có thể làm tốt, và có thể sẽ cung cấp những cách dễ nhất để chi thêm một chút để có hiệu suất tổng thể tốt hơn. Nhưng đó cũng là một thế giới mà các mô hình mã nguồn mở không tụt lại quá xa, và mọi người quan tâm đủ có thể cơ bản thấy những gì đang diễn ra và hiểu cách mà các mô hình chúng ta sử dụng thực sự được đào tạo. Nếu bạn đang nghĩ đến việc bắt đầu hoặc tham gia một công ty tập trung vào các môi trường RL, tôi khuyên bạn nên suy nghĩ về dòng thời gian nào mà bạn đang ngầm đặt cược vào, và suy ngẫm về cảm giác của bạn về điều đó.

Bạn muốn đóng góp vào AGI mã nguồn mở vào cuối tuần này? Hãy tham gia cùng chúng tôi trong việc tạo ra các môi trường rl bằng cách Gửi tin nhắn cho @willccbb, @johannes_hage hoặc tôi với những gì bạn muốn xây dựng - chúng tôi sẽ gửi cho bạn quyền truy cập sớm vào trung tâm, và một danh sách các phần thưởng cho các môi trường cần xây dựng.

cho tôi một số ý tưởng đi các bạn! bạn luôn muốn thực hiện những nhiệm vụ RL lâm sàng và sinh y học nào? hãy nhớ rằng, nhiều nhiệm vụ y tế rất dễ xác minh, đặc biệt là khi nói đến thị giác!