Більшість штучного інтелекту – це дорога брехня. Зазвичай вони вимірюють те, що легко виміряти – такі показники, як «галюцинації» та «токсичність», — а не конкретні способи, якими ваш продукт насправді підводить користувачів. @HamelHusain і @sh_reya викладають інший підхід, який зробив їхній курс #1 найкасовішим у @MavenHQ, з постійним набором від @OpenAI, @AnthropicAI та кожної великої лабораторії штучного інтелекту. Їхня думка: почніть з аналізу помилок, а не з показників. Перегляньте 100 реальних взаємодій користувачів. Напишіть детальну критику того, що насправді пішло не так. Знаходьте закономірності. Тільки після цього створюйте евали, які зроблять ваш продукт кращим. Навчивши 2 000+ PM та інженерів у 500+ компаніях, вони перетворили свою методологію на систематичний посібник, який покаже вам, як саме: - Визначте ~10 режимів збоїв, які насправді ламають ваш продукт - Створюйте суддів LLM, яких ви можете статистично перевірити та довіряти - Створюйте пайплайни CI/CD, які вловлюють регресії раніше, ніж це зроблять користувачі - Перетворіть моніторинг виробництва на двигун виявлення нових проблем Прочитайте їх повний посібник тут:

Онлайн-курс .@HamelHusain та @Sh_reya — AI Evals for Engineers & PM — є найкасовішим курсом #1 на Maven (на сьогоднішній день) і постійно збирає великі групи з усіх основних лабораторій штучного інтелекту. Це пов'язано з тим, що вони вчать чомусь важливому: як створювати оцінки, які дійсно покращують ваш продукт, а не просто створюють інформаційні панелі марнославства. За останні два роки Хамел і Шрея відіграли важливу роль у перетворенні евалів з незрозумілого, загадкового предмета на одну з найнеобхідніших навичок для розробників продуктів зі штучним інтелектом. Провівши навчання для більш ніж 2000 керівників проектів та інженерів, а також керівників більш ніж 500 компаній, вони тепер діляться своїм повним сценарієм - тією ж методикою, яку викладають в @OpenAI, @AnthropicAI та інших провідних лабораторіях. Ви дізнаєтеся, як обґрунтовувати свої евалі в реальності за допомогою аналізу помилок, створювати надійні евали, яким можна довіряти, і створювати маховик постійного вдосконалення, який вловлює регресії до того, як вони будуть відправлені. Не пропустіть цей: Обмежена за часом пропозиція: отримайте знижку 35% на курс Hamel and Shreya, використовуючи код LENNYSLIST під час оформлення замовлення. Це найбільша знижка, яку вони коли-небудь пропонували на свій курс. Я настійно рекомендую вам почати це якнайшвидше. Набір завершується за 2 дні. Зареєструватися можна тут: Дякуємо, що поділилися з нами цим золотом, Хамел і Шрея 🙏

Моє нове улюблене визначення "вищого агентства": "Ти термостат, а не термометр. Термометр вимірює температуру в приміщенні, а термостат її змінює. — @ezinneudezue