Een kleine aanpassing in de instellingen van een AI-model kan blijkbaar een enorm verschil maken. Onderzoekers ontdekten dat het activeren van twee specifieke API-opties de prestaties van GPT-5.6 op de veeleisende ARC-AGI-3 benchmark drastisch verbeterden, met een verdrievoudiging van de score als resultaat.
De twee instellingen betreffen het behouden van redeneerstappen en het toepassen van zogeheten compactie. Door de redeneerprocessen van het model niet weg te gooien tussen verschillende stappen, kan het systeem voortbouwen op eerdere overwegingen in plaats van steeds opnieuw te beginnen. Dit zorgt voor consistentere en doordachtere antwoorden bij complexe taken.
De compactie-functie zorgt er daarnaast voor dat overbodige informatie wordt weggefilterd, waardoor het model efficiënter met zijn beschikbare rekencapaciteit omgaat. Dit is vooral belangrijk bij taken die meerdere stappen en langdurig nadenken vereisen, zoals de puzzels in ARC-AGI-3.
Deze bevinding is opvallend omdat het laat zien dat aanzienlijke prestatieverbeteringen niet altijd een compleet nieuw model vereisen. Soms schuilt de winst in het slimmer benutten van bestaande mogelijkheden. Voor ontwikkelaars die met AI-modellen werken, benadrukt dit het belang van het zorgvuldig configureren van instellingen om het maximale uit een systeem te halen, zonder dat daar extra rekenkracht of nieuwe trainingsdata voor nodig is.
Bron: https://openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores