Vad sluter loopen?

Den stora frågan just nu verkar vara om vi kan släppa agenterna fria och bara fortsätta trycka på Continue. Låt dem bygga, testa och rätta sig själva tills det är klart, ingen vid tangentbordet. Det är en spännande fråga. Men jag tror att det är fel fråga. Den rätta är enklare och obekvämare. Vad är det som faktiskt sluter loopen?

Samma agenter, olika resultat

Jag kör agenter varje dag, så jag säger det här inifrån. Släpp en svärm av dem på ett stort okänt system och be dem hitta problem, och de kommer tillbaka med självförtroende. Radnummer, prioriteringar, allvarliga formuleringar. Hälften håller inte när du synar dem. Ge samma agenter en liten avgränsad ändring precis före release och de hittar buggen du själv missade.

Skillnaden var inte agenternas kvalitet. Det var samma agenter. Skillnaden var hur verifierbar uppgiften var. På det lilla och avgränsade levererade de. På det stora och okända började de gissa. Och en gissning som presenteras tillsammans med ett radnummer känns plötsligt som ett faktum.

Bevis, inte påståenden

Det är där loopen sluts eller inte. Inte i hur smart modellen är, utan i om uppgiften gick att bevisa och om du krävde beviset. En agent som säger att något är fel har gett dig ett påstående. En agent som visar dig testet som fallerar har gett dig ett bevis. Det är skillnad. Och skillnaden är hela jobbet.

Så jag ber inte om en bedömning. Jag ber om bevis. Ett test som går från rött till grönt. En rad jag kan läsa och förstå. Något jag kan syna, inte något jag ska lita på. Kräv bevis, inte påståenden, så slutar en självsäker gissning se ut som ett svar.

En AI som synar en AI

"Men låt en annan agent granska den första." Visst, gör det. Flera agenter som kontrollerar samma ändring fångar mer än en. Men var noga med vad det är. En AI som synar en AI sluter loopen syntaktiskt. Den kontrollerar att bygget matchar det som definierades. Den kan inte kontrollera det du glömde definiera, för den delar samma blinda fläck. Två förutsägelsesystem som är överens är fortfarande bara överens. De äger ingenting.

Den sista grinden är en människa av ett enda skäl. Inte för att människan är felfri. Utan för att någon måste kunna se skillnad på ett bevis och ett välformulerat påstående. Och någon måste äga utfallet när det visar sig att beviset inte räckte.

Så här sluter jag den

Det är ingen magi och det är inte emot agenter. Planera innan agenten börjar. Bestäm vad klart betyder och skriv ner det. Ge den tester. Kräv bevis, inte påståenden. Och låt någon annan än den som skrev granska resultatet. Verifieringen är inte det som bromsar arbetet. Verifieringen är det som gör att man vågar lita på det.

Frågan är inte om, utan vad

Gränsen för hur mycket vi kan lita på modellerna flyttas hela tiden. Men principen rör sig inte. Frågan är inte om människan ska vara i loopen. Frågan är vad som sluter den.

Och det som sluter en loop är inte mer automation. Det är bevis. Och någon som kan se skillnad på bevis och påstående.

Se även: Lagret ingen ritar (serie 40), Kontrollpunkten är jobbet (serie 11) och Du kan inte validera det du inte förstår (serie 6).