Agenttimmen är ingen enhet

Jag har suttit i flera samtal i år där någon prissatt en agenttimme. En agent som arbetar en natt, ett antal nätter i veckan, till ett visst belopp per timme. Det ser ut som en kalkyl.

Ingen av dem har kunnat säga vad timmen innehåller.

Det är inte ett underbetyg åt någon. Det är att enheten inte finns. Timmen är ett mått som lånats in från hur konsultarbete alltid har prissatts, och den bär inte över.

Vad som faktiskt debiteras

En språkmodell debiteras per ordfragment. Inte per tecken, inte per ord, utan per delar av ord, ungefär som stavelser. Du betalar för hur mycket information som skickas in och hur mycket som kommer ut.

Inte per timme. Och inte efter hur svår uppgiften känns.

Det sista är det som förvånar folk mest. En komplicerad fråga om en kort text är billig. En trivial fråga om ett stort material är dyr. Komplexiteten i uppgiften har ingenting med priset att göra, bara mängden.

Så en agenttimme förutsätter ett antagande om hur mycket information som passerar per timme. Det antagandet finns i varje sådan kalkyl, men jag har ännu inte sett det utskrivet.

Två följder som ändrar hur man arbetar

Att skicka in mindre är billigare än att välja en billigare modell.

Ta ett driftfall. En person säger till modellen att läsa loggfilerna från de senaste tjugofyra timmarna och komma med en analys. Det är ett dyrt kommando, för hela loggmängden ska processas.

En annan person vet att felet inträffade 18.32, gör ett utdrag runt den minuten och skickar in det. Samma modell, samma fråga, en tusendel av kostnaden. Och ett bättre svar, för materialet innehåller inte längre allt annat som hände under dygnet.

Skillnaden sitter inte i verktyget. Den sitter i att någon förstod var felet låg innan hen frågade. Skickligheten ligger i inmatningen.

Och att producera text kostar ungefär fem gånger mer än att läsa den.

Det gäller genomgående, oavsett modellnivå. Det gör översättning och innehållsproduktion till de dyra momenten, eftersom de genererar mycket text. Sammanfattning och analys blir billiga, eftersom de tar in mycket och lämnar lite.

Det är inte intuitivt. De flesta antar det omvända, att det är den svåra analysen som kostar. Men det avgör var pengarna faktiskt hamnar i ett innehållstungt projekt.

En sak till som sällan nämns: svenska och finska drar fler ordfragment per mening än engelska, eftersom sammansatta ord bryts i fler delar. Samma innehåll kostar alltså olika mycket per marknad.

Vad det gör med modellvalet

Den vanligaste reflexen är att välja den kraftfullaste modellen, för det känns tryggast. Ibland är det rätt. För avgränsade uppgifter med känd indata är det nästan aldrig det.

Att läsa en loggfil behöver ingen resonerande modell, den ska hitta ett mönster i ett material. Där kan skillnaden mellan modellnivåerna vara flerfaldig i pris utan att vara det i utfall.

Men lägg märke till att modellvalet är den mindre hävstången. Att halvera priset per enhet ger dig hälften. Att skicka in rätt material i stället för allt material kan ge dig en tusendel.

Frågan att ställa

Inte "varför kostar en agenttimme så mycket". Utan vilken tokenvolym per timme ni räknat med.

Det är ingen invändning mot att räkna i timmar. Det är en fråga om vad timmen bygger på. Och den går att besvara, av vem som helst som faktiskt räknat.

Kommer svaret som en volym med ett antagande om arbetstakt bakom, då finns det en kalkyl. Kommer det som en hänvisning till erfarenhet från andra projekt, då är timmen ett estimat förklätt till en enhet.

Du behöver inte kunna räkna om det själv. Du behöver bara veta att räkningen ska gå att visa.

Se även: En jämn siffra över ett ojämnt arbete (serie 54) och En kontroll som svarar olika är ingen kontroll (serie 56).