Якщо ви відчуваєте, що проводите недостатньо експериментів, вузьким місцем майже завжди є інфраструктура, а не ідеї. Зосередьтеся на вдосконаленні вашої інфраструктури: Написання паралельного коду: багато команд все ще виконують усі свої тести, використовуючи цикли for. Витративши 1-2 години на навчання написанню паралельного коду, можна значно скоротити час експериментів, переходячи від днів до годин. Створюйте модульні конвеєри: якщо весь ваш додаток RAG є гігантським файлом на Python, його буде важко перевірити. Але якщо кожен пошуковий індекс – це окремий запит на пост, ви можете протестувати їх окремо. Це дозволяє зосередитися на одному компоненті (наприклад, системі отримання зображень) і підвищити її точність з 30% до 80% за один день. Тестуйте локально, коли це можливо: створюйте менші синтетичні набори даних для швидкої ітерації, перш ніж запускати більші тести. Вплив на бізнес: один клієнт перейшов від 1 експерименту на тиждень до 5 експериментів на день, просто розпаралелюючи свій код оцінки. Це 35-кратне збільшення швидкості ітерацій безпосередньо призвело до швидшого вдосконалення продукту та скорочення часу виходу на ринок. Можливість тестувати компоненти ізольовано має вирішальне значення для швидких експериментів. Багато в чому це зводиться до хороших практик розробки програмного забезпечення та продуманого проектування систем. Ключовий висновок: Інфраструктура швидких експериментів – це мультиплікатор сили. Інвестуйте один раз у розпаралелювання та модульність, а потім проведіть у 10 разів більше експериментів.