Z archiwum: Zapytaliśmy @MarkChen (dyrektora ds. badań w @OpenAI), jak pogoń za metrykami użytkowników może zaszkodzić rozwojowi AI. Podkreślił, jak pogoń za prostymi metrykami, takimi jak dzienni aktywni użytkownicy (DAU), może zniekształcić zachowanie modelu w czasie: "Jeśli po prostu zwiększysz odpowiedzi, w których użytkownicy mówią 'kciuk w górę', tworzy to warunki dla modelu... w którym zaczyna cię podlizywać, mówiąc 'hej, masz rację', nawet w skomplikowanych sytuacjach, w których obiektywnie powiedziałbyś, że ta osoba się myli." Chen opisał potrzebę ostrożnego podejścia do metryk: "Musimy być zdecydowani co do funkcji, które budujemy. Budujmy dla rzeczy, których ludzie będą chcieli, może niekoniecznie wiedząc, że chcą ich dzisiaj, a następnie używajmy DAU jako produktu ubocznego." "Nie chcemy wpaść w te pułapki, gdzie za trzy, cztery lata to zamieni się w przynętę na zaangażowanie."