En dator kan aldrig ställas till svars
1979 satte IBM upp en maskinskriven overhead i en intern utbildning. En sida med tre hål för pärmen. På den stod två meningar:
En dator kan aldrig ställas till svars. Därför får en dator aldrig fatta ett ledningsbeslut.
Jag utgår från att det stämmer. IBM, 1979. Kedjan bakåt är tunn och originalet är borta, men jag tar den på orden, för tyngden ligger inte i vem som sa det utan i vad det säger. Och det håller oavsett.
Det är inte en aforism. Det är ett resonemang.
De flesta citerar meningen som en poäng och stannar där. Men på baksidan av den fotograferade sidan lyser texten från nästa blad igenom. Framdragen visar den att meningen är slutsatsen på ett resonemang, inte en slagkraftig ensam replik.
Nästa sida har rubriken THE COMPUTER MANDATE och definierar ett ledningsmandat i tre delar: befogenhet, ansvar och ansvarighet.
Häftet sätter ett värde på vart och ett av de tre leden. På det tredje, ansvarighet, står det som hela slajden vilar på, utskrivet i versaler: ingen som helst. Tillämpat på en dator blir svaret alltså: inget alls.
Argumentet är alltså inte att datorer är opålitliga. Det är att förmågan att ställas till svars är en förutsättning för att över huvud taget hålla ett mandat. En aktör som inte kan bära den kan inte hålla mandatet. Oavsett hur gott dess omdöme är.
Därför åldras inte argumentet
Det här är den avgörande skillnaden. De flesta invändningar mot att låta maskiner bestämma bygger på förmåga. Modellen hallucinerar. Modellen saknar kontext. Modellen förstår inte nyansen. Alla de invändningarna försvagas för varje ny modell, eftersom förmågan faktiskt växer.
IBM:s argument gör inte det. Det bryr sig inte om förmåga. Det säger att ansvar inte är en egenskap du kan bli tillräckligt bra för att slippa. En dator som blir dubbelt så kapabel blir inte hälften så ansvarig. Den blir exakt lika lite ansvarig som förut, för den kan fortfarande inte bära konsekvensen av att ha haft fel.
Det är därför en mening från slutet av sjuttiotalet fortfarande biter. Den beskrev aldrig teknikens gränser. Den beskrev ansvarets natur.
Det de såg komma
Samma häfte listar det de kallade travestier. Förväxlingar att undvika. Två av dem sticker ut: datorn som chef, datorn som gud.
De förutsåg inte en modellarkitektur. De förutsåg en förväxling. Att någon en dag skulle råka byta ut den som bär beslutet mot det som beräknar det. Och de satte ord på varför det är ett kategorifel, inte ett effektivitetsval.
Det är precis den förväxlingen jag lever för att undvika. AI är med i allt jag levererar. Men beslutet att trycka på enter är mitt, varje gång, för mitt namn står på det som skickas. Ansvaret kan inte delegeras till ett verktyg, hur bra verktyget än blir. Det är inte en teknisk hållning. Det är vad ett mandat betyder.
Maskinen flyttade sig överallt utom här
Sedan 1979 har maskinen blivit bättre på nästan allt. Den skriver, den räknar, den kodar, den sammanfattar ett möte innan du hunnit ut ur rummet. På det enda som avgör om den får hålla ett mandat har den inte flyttat sig en millimeter.
IBM hade rätt, och de hade rätt av ett skäl som inte slits ut. Ansvar är konstituerande för ett mandat, en aktör som inte kan bära ansvar kan inte hålla ett mandat, en dator kan inte bära ansvar. Resten följer. Det gällde när sidan skrevs. Det gäller mer nu, inte mindre.
Se även: Jag är smartare än AI (serie 1) om varför konsekvensen av att ha fel skapar omdöme som ingen modell bär.
Mindtastic tränar det personliga ansvaret -- varför validering är det centrala.