Vad kostar en AI-agent per månad att ha i drift?
Kort svar
Driften av en agent har fyra poster: modellanrop, plattform och lagring, integrationer mot era system samt tiden någon lägger på tillsyn och rättning. Modellanropen är oftast den minsta posten. Tillsynen är den som växer om arbetsmomentet saknar loggning och tydliga stoppregler, eftersom felen då måste letas upp manuellt.
Ledningen har fått ett förslag och vill veta vad det kostar att äga, inte att bygga.
Räkna fyra poster, och vikta tillsynen högst i början.
Frågan om månadskostnad kommer sent i utvärderingen, ofta när bygget redan är beskrivet. Då jämförs en offert för utveckling med en driftbudget som ingen har satt.
De fyra posterna
| Post | Vad den styrs av | Så håller ni ner den |
|---|---|---|
| Modellanrop | Antal körningar och längden på varje anrop | Korta kontexten och cacha det som är statiskt |
| Plattform och lagring | Var flödet körs och hur mycket som sparas | Rensa loggar enligt en gallringsregel |
| Integrationer | Antal system arbetsmomentet rör | Börja med två system, inte sex |
| Tillsyn | Hur ofta någon måste rätta manuellt | Bygg stoppregler och läsbar logg från dag ett |
Posterna beter sig olika över tid. De tre första är förutsägbara och skalar med volym. Tillsynen är hög i början och faller när stoppreglerna är rätt satta, men den faller aldrig till noll och ska därför ligga kvar i budgeten.
Så sätter ni en siffra innan ni bygger
- 01Räkna körningarUppskatta antal körningar per vecka utifrån dagens volym, inte utifrån målvolymen.
- 02Sätt tillsynstidAnta att någon tittar på flödet en stund varje dag första månaden och en gång i veckan därefter.
- 03Lista systemenVarje system arbetsmomentet rör är en integration som ska förvaltas, även när den fungerar.
- 04Lägg på marginalRäkna med att volymen blir högre än planerat när flödet fungerar.
En driftbudget som är satt före bygget gör det enkelt att säga nej till ett arbetsmoment som inte bär sin egen kostnad. Det är billigare att inse det på ett papper.
Underlag
- Vår bedömning
Tillsyn är den rörligaste driftposten under första kvartalet.
Vanliga frågor
- Ingår modellkostnaden i ett fast pris?
- Sällan. Modellanrop är rörliga och faktureras oftast separat, medan bygget kan vara fast.
- Går det att sätta ett tak?
- Ja, ett anropstak per dygn är rimligt och stoppar kostnadsrusningar när något går fel i en slinga.