Ingen är betald för att sänka den

Jag har sagt det två gånger i år, i två olika samtal, och jag har haft fel båda gångerna: att den som bränner mest tokens är den som kan minst.

Det är en bra replik. Den är också bara halvsann, och den halvan gör mer skada än nytta.

Sex orsaker, en siffra

Förbrukning är inte en sak. Minst sex olika saker driver den, och de har ingenting med varandra att göra.

Uppsättningen. Ingen persistent kontext, ingen cachning, samma filer läses in igen varje varv. Man betalar för samma information om och om igen.

Att inte ha hängt med. Verktygen är annorlunda än för nio månader sedan. Den som kör som förut kör dyrare utan att märka det.

Volym in. Hela loggfilen i stället för rätt minut. Hela kodbasen i stället för de tre filerna det gäller. Det här är den största enskilda hävstången och den enda som kan skilja tusenfalt.

Modellval av prestige. Den senaste och kraftfullaste för att den känns tryggast, även på uppgifter där en enklare modell ger samma svar för en femtedel.

Omkörningar utan diagnos. Försöka igen i stället för att förstå varför det blev fel. Tre försök kostar tre gånger.

Producerad kod och verifiering. Det faktiska arbetet.

Bara den sista är legitim output.

Och ovanpå de sex ligger kontonivå och modellpris, som kan skilja fem gånger utan att någon har gjort något annorlunda.

Därför säger siffran ingenting

En hög förbrukning kan alltså betyda att någon slarvar. Den kan lika väl betyda att någon har flyttat en stor del av sitt arbete in i maskinen: kör agenter parallellt, låter dem arbeta över natten, verifierar med flera modeller. Det är avancerad praxis, och den kostar mer än att göra allt för hand.

Två personer med identisk förbrukning kan alltså vara varandras motsatser. Den ena har inte lärt sig verktyget, den andra har automatiserat halva sitt arbete.

Det som betyder något är därför inte förbrukningen utan förbrukning per levererat utfall. Fyra gånger tokens och sex gånger verifierad leverans är effektivt. Fyra gånger tokens och samma leverans är det inte. Samma siffra, motsatt slutsats.

Det är också därför jag hade fel. Jag läste ett tal som om det var ett betyg, när det är en karta över var arbetet ligger.

Den obehagliga följdfrågan

Fem av sex orsaker är åtgärdbara, och de är billiga att åtgärda. Det är eftermiddagar, inte investeringar.

Vilket gör förbrukning till en kompetensfråga snarare än en budgetfråga. De flesta samtal jag hör om AI-kostnad handlar om tak, licensnivåer och volymrabatter, när den största hävstången ligger i att någon lär sig skicka in rätt material.

Men här blir det intressant.

Om förbrukningen faktureras vidare som självkostnad, från leverantör till kund, vem i den kedjan är då betald för att sänka den?

Leverantören får den täckt. Kunden kan inte se vad som driver den. Ingen part har ett ekonomiskt skäl att lägga de eftermiddagarna, och därför blir de inte lagda.

Det är inte illvilja. Det är att incitamentet saknas, och det är strukturellt. Precis samma sak hände med tryckkostnader, med telefoni och med molnlagring: så länge kostnaden var någon annans blev den aldrig optimerad, och det ändrades först när den blev synlig för den som betalade.

Vad som faktiskt följer av det

Att fråga en leverantör varför förbrukningen är hög ger sällan något. De vet inte, och de har inte behövt veta.

Att fråga hur den fördelar sig ger mer: hur många objekt passerar en modell, vad körs på vilken modellnivå, hur mycket är omkörningar. Ett svar på den frågan avslöjar om någon tittat.

Och att göra förbrukningen synlig för den som betalar ändrar beteendet snabbare än någon utbildning gör. Inte för att någon börjar anstränga sig, utan för att det plötsligt finns någon i kedjan som tjänar på att siffran blir lägre.

Se även: Agenttimmen är ingen enhet (serie 55) och En jämn siffra över ett ojämnt arbete (serie 54).