Ge mig insikter, inte beslutet

Jag pratar med en del organisationer om AI just nu, och det finns en panik som återkommer. Budgeten är spräckt, och ingen kan säga varför. Det fanns en satt siffra, den utgick från att kanske trettio procent skulle nyttja verktygen på allvar och resten inte alls, och så sprängdes den med råge.

Jag brukar fråga vad de tror att det beror på. Och då börjar det komma. De vet inte vem som nyttjar vad. De vet inte om det används i arbetet eller privat. Prismodellen hos leverantörerna rör på sig. Någon ville ha tjugodollarslicensen, någon annan tryckte på för tvåhundradollarsnivån, och ingen styr det, det bara sker. På ett bolag med tusentals anställda finns det inget rimligt sätt att attribuera kostnaden mot en satt budget.

Det som hände var att man köpte licenser och kallade det transformation. C-nivån sa att alla ska ha licenser, så driver vi AI-utvecklingen. Men du köper inte styrning genom att köpa licenser. Du kan inte styra det du inte ser.

Vad jag faktiskt byggde

Så jag byggde mätningen själv. Jag klonar alla repon lokalt och tittar på det som faktiskt går att mäta. Commits per utvecklare den senaste månaden. Rader in och ut. Spend per person mot API:et. Det blir en översikt: vem har tryckt in trehundra rader, vem har tryckt in tiotusen, vem ligger på ett par hundra dollar i förbrukning den senaste veckan.

Den biten är deterministisk. Det är programmatiskt. Det finns inget omdöme i att samla in det, och därför automatiserar jag det utan att blinka.

Var gränsen går

Men sen kommer frågan jag väntar på. Kan jag få den automatiserade rapporten? Den där modellen inte bara samlar in utan också drar slutsatsen och säger vad jag borde göra.

Då går jag nästan ut ur rummet.

Att samla in är en sak. Att besluta är en annan. Jag agerar inte på en slutsats jag inte kan validera, och modellen är inte tillräckligt bra för att jag ska vilja det. Ge mig insikterna. Lägg dem på bordet, deterministiskt insamlade. Sen tar jag beslutet.

För det är där omdömet sitter. Commits och rader är en grov signal, inget annat. En av de mest seniora jag har skriver få rader av hög komplexitet, sitter en dag och tänker och checkar in fyra rader som går rakt i produktion. Trehundra rader från någon annan kan betyda att de aldrig ens var inne och jobbade. Siffran pekar. Den beslutar inte.

Det enda jag inte kan delegera

En språkmodell löser det du ber om. Den kan inte tala om för dig vad siffran betyder för just den här organisationen, den här personen, den här månaden. Den meningen är beslutet. Och beslutet är det jag ansvarar för.

Automatiserar du beslutet har du automatiserat bort just det du var satt att äga.

Rapporten är den enkla delen. Omdömet ovanpå den är jobbet. Det är därför det ligger hos en människa, och stannar där.

Se även: Jag är smartare än AI:n (serie 1) och Kontrollpunkten är jobbet.