十分な実験を行っていないと感じた場合、ボトルネックはほとんどの場合、アイデアではなくインフラストラクチャにあります。 インフラストラクチャの改善に重点を置きます。 並列化されたコードを記述する: 多くのチームは、まだ for ループを使用してすべてのテストを行っています。並列化されたコードの記述を学ぶのに1〜2時間を費やすと、実験時間が数日から数時間に大幅に短縮されます。 モジュラーパイプラインの構築: RAG アプリケーション全体が巨大な Python ファイルである場合、テストは困難になります。ただし、各検索インデックスが個別の POST 要求である場合は、個別にテストできます。これにより、1つのコンポーネント(画像検索システムなど)に集中し、午後1日で精度を30%から80%に向上させることができます。 可能な場合はローカルでテストする: 大規模なテストを実行する前に、迅速な反復のために小規模な合成データセットを作成します。 ビジネスへの影響: あるクライアントは、評価コードを並列化するだけで、1 週間に 1 つの実験を実行していたから 1 日あたり 5 つの実験に移行しました。このイテレーション速度の 35 倍の向上は、製品の改善の迅速化と市場投入までの時間の短縮に直接つながりました。 コンポーネントを単独でテストできることは、迅速な実験にとって非常に重要です。その多くは、優れたソフトウェアエンジニアリングの実践と思慮深いシステム設計に帰着します。 重要な洞察: 高速実験インフラストラクチャは力を倍増させます。並列化とモジュール化に一度投資すると、10倍の実験を実行します。