Människan är öppningen

Fotografera en utskrift av ett foto. Skriv ut fotot. Fotografera utskriften igen.

Gör om det tio gånger. Bilden är gröt.

Det intressanta är att ingen gjorde något fel. Varje enskilt steg var korrekt utfört. Kameran fungerade, skrivaren fungerade, papperet var rätt. Ändå är resultatet obrukbart, för varje kopia kunde bara utgå från föregående kopia och varje varv tappade lite.

Det är inte en liknelse för vad som händer när en AI-loop får gå utan människa. Det är samma mekanism.

Mekanismen har ett namn

I analog teknik kallas det generation loss. I maskininlärning kallas det model collapse: modeller som tränas på sin egen syntetiska output degraderar, och de gör det i en förutsägbar ordning. Ytterkanterna av fördelningen försvinner först, det ovanliga och det specifika, sedan urholkas mitten.

Det är värt att veta nästa gång någon avfärdar resonemanget som en bild. Det är inte en bild. Det är den bokstavliga beskrivningen av vad som händer med information i ett slutet system.

Invändningen som är värd att ta på allvar

Det finns en stark invändning mot att säga att AI inte kan tillföra något.

Den låter: människor gör också bara det. All kreativitet är rekombination. Ingen tanke uppstår ur ingenting, alla bygger på det de sett och hört. Om modellen inte kan skapa nytt så kan inte du heller.

Den invändningen är korrekt. Det är därför formuleringen "AI kan inte skapa nytt" är fel. Den bevisar för mycket och man förlorar diskussionen med rätta.

Skiljelinjen går inte mellan rekombination och skapande. Den går mellan slutet system och öppning.

En kamera som fotograferar sina egna utskrifter är sluten. Den har ingen kanal till något utanför sig själv, alltså är degradering garanterad. En människa har kanaler som kameran saknar. Sinnena. Ett experiment som ger ett annat svar än man trodde. En riktig användare som blir arg. En faktura som blev fel och en kund som ringer. Ett beslut som visade sig kosta pengar.

Det där är information som inte fanns i historiken. Den kommer utifrån. Och den kommer bara in genom någon som är där.

Rekombination är fortfarande värdefullt. Syntes och komprimering är riktigt arbete. Men rekombination är bunden av mängden information den utgår från. Den kan aldrig överstiga det som redan finns i materialet.

Varför skulden förräntar sig

Det farliga med en obevakad loop är inte att fel läggs på. Det är att de förräntar sig.

Varje ovaliderat automatiskt steg bygger vidare på föregående ovaliderade steg. Ett brus i varv N behandlas som signal i varv N+1 och som etablerat faktum i varv N+2. Efter tillräckligt många varv är felet inte längre ett fel i systemets ögon. Det är en förutsättning.

Det är därför "låt den jobba medan jag sover" inte sparar tid. Det skjuter upp en växande skuld till den punkt där ingen längre kan se var den kom in.

Granskningen är amorteringen. Hoppar man betalningar växer skulden inte linjärt utan exponentiellt.

Kloningen är samma sak ett lager upp

Det här händer inte bara inne i modellen. Det händer i hur människor arbetar.

Det säljs agent-utbildningar vars uttalade löfte är att man ska klona färdiga system i stället för att börja från noll och sedan sälja de klonade flödena vidare till egna kunder. Hundratals personer kör samma flöde. Ingen av dem har lagt till en enda observation från sin egen verklighet.

Systemet beter sig exakt som mekanismen förutsäger. Informationen omfördelas, ingenting tillförs och det specifika försvinner först. Det som gjorde originalet vasst var någons faktiska kunskap om ett faktiskt problem. Den överlever inte kloningen. Bara formen gör det.

En klonad agent är inte en genväg till någon annans omdöme. Den är en kopia av deras form utan deras skäl.

Och att börja från noll är inte problemet som ska lösas bort. Det är där öppningen sitter. Den som börjar från noll tvingas titta på sitt eget problem. Den som börjar från en klon behöver aldrig göra det, och märker inte att hen låtit bli.

Vad det betyder för vem som ska sitta där

Om människan är öppningen spelar det roll vilken människa.

Öppningen är värd något i den mån den släpper in sant signal. En senior med domänkunskap ser att svaret ser rimligt ut men strider mot hur det faktiskt fungerar hos den här kunden. Det är ny information in i systemet. En junior som godkänner för att det ser rätt ut släpper inte in någonting. Loopen är fortfarande sluten, den har bara en människa sittande bredvid.

Det är samma sak som att man inte kan validera det man inte förstår, sagt från andra hållet. Validering är inte en kontrollstämpel. Det är tillfället då verkligheten får komma in.

En grind, två flöden

Jag har skrivit om varför människan står kvar i loopen även när modellen blir nästan felfri: någon måste bära konsekvensen, som en maskin inte kan bära oavsett hur bra den blir.

Det här är det andra skälet. Det är oberoende av det första. Även för den som struntar fullständigt i ansvarsfrågan gäller att ett slutet system blir sämre.

Samma grind bär båda. Ny information på väg in, ansvar på väg ut. Stänger man den slutar båda flödena samtidigt, och det första tappet syns i kvaliteten långt innan det andra syns i ansvaret.

Det gör human in the loop till något annat än en broms. Det är inte kvalitetssäkring som kostar tid. Det är det enda stället där något nytt kommer in i systemet över huvud taget.

Se även: Felfri är inte samma sak som ansvarig (serie 60) om det andra flödet genom samma grind och Du kan inte validera det du inte förstår om varför öppningen kräver en senior.