Trendande ämnen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Vi skrapar knappt på ytan på evals. Den stora majoriteten av kunskapsarbetarnas uppgifter fångas inte upp i dagens mest populära riktmärken.
Även om kvaliteten på funktionerna ofta kan extrapoleras från befintliga kodnings- och matematikutvärderingar, representerar dessa inte helt komplexiteten i dessa verkliga uppgifter.
Vi kommer snart att gå in i en era där vi går efter arbete inom juridik, finansiella tjänster, tillverkning, redovisning, konsultverksamhet,
Och många andra områden med högt värde kommer att vara lika värdefulla som kodning.
5 sep. 07:02
Ofta begränsas forskares förmåga att iterera på en förmåga av vår förmåga att mäta den förmågan. Jag tror att framstegen är mer begränsade än vad folk tror.
Ibland känns evals kausala. följde SWE-Bench agentic coding, eller följde agentic coding SWE-bench?
Vi hör ofta talas om att lösa uppgifter med riktigt lång horisont (veckor, månader), eller att det behövs kontinuerligt lärande för AGI, etc. Men var finns evalerna för att bevisa våra modellers brister här?
Jag skulle gärna se att fler människor arbetade med AGI-kompletta utvärderingar, utvärderingar som verkligen spårar ekonomiskt värde och påverkan, månadslånga uppgifter, etc.
4,69K
Topp
Rankning
Favoriter