Felfri är inte samma sak som ansvarig

Bill Gates publicerade i augusti en essä om AI-omställningen som är ärligare än det mesta i genren. Han deklarerar sitt eget jäv mitt i texten i stället för i en fotnot. Han vägrar både utopin och domedagen. Han skriver att vi behöver båda delarna samtidigt, verklig oro för skadorna och verklig optimism om nyttan.

Han ställer också den fråga jag tycker är den rätta: hur bevarar vi det mänskliga när maskinerna kan tänka snabbare än vi.

Sedan svarar han på den med förmåga. Och där skiljs vi åt.

Meningen

Gates skriver att det stora skiftet för arbetande människor kommer när AI producerar nästan felfritt arbete. Vid den punkten, skriver han, kan systemet arbeta på egen hand utan att en människa tittar till det. Företagen kommer då ha alla ekonomiska skäl att låta det göra det.

Läs den en gång till. Villkoret för att ta bort människan är felfrekvensen.

Det betyder att människan i hans modell sitter där som en felfångare. En kontrollinstans vars enda uppgift är att kompensera för att maskinen inte är tillräckligt bra än. När maskinen blir tillräckligt bra har kontrollinstansen inget jobb kvar.

Om det vore sant vore hela ansvarsfrågan ett övergångsproblem. Något som löser sig av sig självt när tekniken mognar.

Vad som saknas i den

Jag har en maskinskriven overhead från IBM, 1979. En sida med tre hål för pärmen. På den står två meningar: en dator kan aldrig ställas till svars, därför får en dator aldrig fatta ett ledningsbeslut.

Lägg märke till vad som inte står där. Ingenting om felfrekvens. Ingenting om hur bra datorn är. Ingenting om vad den klarar.

Det är hela poängen. Det tog mig lång tid att se den. De flesta invändningar mot att låta maskiner bestämma bygger på förmåga. Modellen hallucinerar. Modellen missar kontexten. Modellen förstår inte nyansen. Alla de invändningarna blir svagare för varje ny modell, eftersom förmågan faktiskt växer.

IBM:s argument gör inte det. Det bryr sig inte om förmåga. En dator som blir dubbelt så kapabel blir inte hälften så ansvarig. Den blir exakt lika lite ansvarig som förut, för den kan fortfarande inte bära konsekvensen av att ha haft fel.

Människan står alltså inte kvar i loopen för att modellen gör fel. Hon står kvar för att någon ska bära det när den gör det. Det är två helt olika skäl. Bara det ena försvinner när modellerna blir bättre.

Felfri och ansvarig är inte samma axel. Den ena rör sig snabbt just nu. Den andra har inte flyttat sig sedan 1979.

Det finns en andra anledning att människan står kvar, och den bryr sig inte om ansvar alls.

Gates skriver att tillförlitlighetsproblemet löser sig snabbt, eftersom forskarna nu bygger modeller som kan granska sitt eget arbete och förbättra sig själva. Men en modell som granskar sin egen output är ett slutet system. Den kan bara omfördela den information den redan har. Den har ingen egen öppning mot verkligheten. Ingen användare som klagar, inget experiment som går fel, ingen konsekvens som gör ont. Tar man bort människan får man en kopia av en kopia som komponerar sig själv, där bruset i ett varv blir signal i nästa.

Grinden bär alltså två saker samtidigt. Ny information på väg in, ansvar på väg ut. Stänger man den slutar båda flödena, och kvaliteten faller långt innan någon hinner fråga vem som bar ansvaret.

Reservatet

Gates ser att något måste hållas undan. Han föreslår en domän han kallar Human Reserved, arbete som vi väljer att förbehålla människor. Han hämtar bilden från naturreservat: platser där vi skulle kunna bygga vägar och hus, men låter bli för att förlusten vore för stor.

Han grundar förslaget i något verkligt. Hans pappa vårdades i livets slutskede av personal som förstod honom även när han inte kunde göra sig förstådd. Om dem skriver han att något i den omsorgen var oersättligt mänskligt. Ingen robot kunde eller borde ha gjort det.

Jag tror han har rätt om vården. Det är formuleringen intill som inte håller. Om en robot som lämnar ett obotligt besked skriver han att det inte finns något tekniskt skäl till att den inte skulle kunna, ändå borde den inte.

Där står argumentet på en preferens. Vi borde låta bli.

Och en preferens förlorar mot ekonomi. Gates skriver det själv, några sidor bort: marknadskrafterna kommer få anpassningen att gå fortare och fortare, och om de etablerade bolagen inte tar in maskinerna kommer nya bolag att göra det. Han räknar dessutom upp allt som måste lösas för att reservatet ska hålla. Vem bestämmer vad som ska ingå. Efter vilka kriterier. Hur hindrar man företag från att fuska. Vad händer med handeln när ett land tillåter robotar och ett annat inte.

Det är inte svagt tänkt. Det är ärligt redovisat. Men det är beskrivningen av en linje som måste försvaras, varje år, mot allt som trycker på den. Därför behöver Gates också det han föreslår i övrigt: nya nationella organ, en internationell organisation modellerad på kärnvapeninspektioner och luftfartsregler samt en skatt på tokens och robotar för att göra människor billigare i jämförelse.

Han bygger en institutionell konstruktion för att hålla en linje som hans eget resonemang inte bär av egen kraft.

Skillnaden

Den linje jag drar behöver inget försvar, för den är inte ett val.

Ansvarighet är inte en egenskap hos ett bra beslut. Den är förutsättningen för att över huvud taget hålla ett mandat. En aktör som inte kan ställas till svars kan inte hålla mandatet, oavsett hur gott dess omdöme är. Det är inte en regel någon införde. Det är vad ett mandat betyder.

Därför blir frågan aldrig ett policyval. Och därför finns det inget fusk att bevaka. Man kan låta en modell producera vad som helst. Man kan inte flytta över bärandet av konsekvensen till den, för den kan inte ta emot det. Det som ser ut som en delegering är i praktiken bara att ingen bär det längre.

Ett reservat kan krympa när trycket ökar. Det här kan det inte, för det är ingen gräns i terrängen. Det är en beskrivning av vad ansvar är.

Var linjen faktiskt går

Human Reserved drar linjen mellan yrken. Vård på ena sidan, kanske juridik på den andra, olika i olika länder.

Jag tror linjen går tvärs igenom yrkena i stället. Den går per uppgift. Frågan jag ställer är om verktyget ersätter något jag redan bär, eller monterar ihop något som saknas i rummet.

En simulerad panel som ska fatta mina beslut ersätter det omdöme jag byggt av att ha haft fel och betalat för det. Samma uppställning i en organisation där kunskapen ligger utspridd på fem personer som aldrig talas vid monterar i stället ihop en helhet som ingen enskild håller. Samma verktyg, motsatt värde.

Den frågan behöver ingen internationell organisation. Den kan ställas på tisdag morgon, av den som håller i uppgiften, i vilken bransch som helst. Och den ger olika svar för olika uppgifter inom samma yrke, vilket är precis vad ett reservat inte kan göra.

Vad jag tar med mig

Gates har rätt i att omställningen kommer snabbt och att ingen har en plan. Han har rätt i att vi inte ska överlåta åt AI-bolagen att lösa problem de själva skapat. Han har rätt i att den som har minst tid är den som behöver mest.

Och han har rätt om förmåga. Modellerna blir bättre, snabbare än de flesta tror.

Det spelar bara ingen roll för den här frågan. Mitt namn står på det jag skickar. Det gällde när modellen var dålig. Det gäller när den är bra. Det kommer gälla när den är bättre än jag på varje enskild uppgift, för då står mitt namn fortfarande där och maskinens gör det inte.

Jag ska vara tydlig med var jag står, på samma sätt som Gates är: jag lever på att leverera det här. Det får vägas in. Men argumentet står inte och faller med vem som framför det. Det är själva poängen med argument som inte bygger på förmåga.

Se även: En dator kan aldrig ställas till svars (serie 49) om häftet bakom slajden, Ersätter eller monterar (serie 32) om var linjen går per uppgift och Människan är öppningen (serie 61) om det andra flödet genom samma grind.