.@AnkythShukla esitti rohkean väitteen podcastissa: "Parempia kuin kehittäjät, parempia kuin suunnittelijat, parempia kuin toimitusjohtaja ja liikemiehet, projektipäälliköt ovat pohjimmiltaan asemassa, jossa heidän pitäisi omistaa arvioinnit. Heillä on tuntemus liiketoiminnasta, asiakkaasta ja teknologiasta." Tämä on rakenteellinen argumentti, ei mielipide. Tässä syy, miksi sillä on merkitystä: > Insinöörit ymmärtävät mallin. He eivät ymmärrä asiakkaan määritelmää "hyvästä tuotoksesta". > Suunnittelijat ymmärtävät kokemuksen. He eivät ymmärrä ei-determinististen järjestelmien teknisiä rajoitteita. > Yritysjohtajat ymmärtävät ROI:n. He eivät ymmärrä, mitä LLM-tuomari on tai miten sellainen pitäisi kalibroida. > Pääministeri istuu kaikkien kolmen risteyksessä. Juuri tätä tekoälyarvioinnit vaativat – henkilöä, joka pystyy muuntamaan liiketoiminnan vaatimukset mitattaviksi arviointikriteereiksi ja sitten vahvistamaan, että tekoäly todella täyttää ne tuotannossa. AI evals ei ole QA-testauksen uudelleenbrändätty. Se on pohjimmiltaan uusi ala. Ja projektipäälliköt ovat luonnollisia omistajia. Koko jakso purkaa tarkat mittarit, työkalut ja LLM:n tuomarinkehykset vaihe vaiheelta.