Governance från dag ett, inte i efterhand
Kort svar
Slå på loggning, versionering och maskering innan första prompten körs skarpt. Då kan ni rekonstruera varje körning i efterhand, visa underlaget för styrelse och revisor, och byta modell utan att tappa historiken. Sätts det efter piloten saknas exakt de veckor någon kommer att fråga om.
Governance som eftertanke är ingen governance. När loggningen slås på först efter piloten missar ni de tre veckor då agenten faktiskt formades. Det är precis de veckorna någon kommer att fråga om: en kund, en revisor, en tillsynsmyndighet eller er egen styrelse.
Checklistan vid uppdragsstart
- Modellversion och promptversion versioneras i git, med samma disciplin som produktionskod.
- Varje anrop loggas med indata, utdata, källor, latens och kostnad.
- Personuppgifter maskeras innan agenten ser dem.
- Människa i loopen är standard, inte tillval.
- Spårbarheten är läsbar för en revisor, inte bara för en ingenjör.
Vad ni får när det sitter
Ett system ni kan visa upp utan förberedelsetid. Ni slipper gräva i säkerhetskopior och slipper förklara varför loggarna börjar den fjortonde. Ni kan också byta modell utan att förlora jämförbarheten, eftersom historiken ligger kvar i samma format.
Om ni inte kan rekonstruera vad systemet gjorde förra veckan har ni ingen automation. Ni har en risk.
Vad det kostar att vänta
Att lägga på spårbarhet i efterhand kräver att flödet byggs om, att historiken skrivs om manuellt och att alla påståenden om resultat görs om från början. I praktiken betalar ni för samma arbete två gånger, och den första omgången går inte att använda som underlag.
Underlag
- Vår bedömning
Spårbarhet som byggs in från start kostar väsentligt mindre än att lägga till den efter en pilot.
Vanliga frågor
- Bromsar governance inte bygget?
- Nej. Loggning och versionering läggs in i samma vecka som arbetsmomentet byggs och kostar timmar, inte veckor. Det som bromsar är att göra om bygget i efterhand.
- Räcker det inte att spara utdata?
- Nej. Utan indata, modellversion och promptversion går resultatet inte att rekonstruera, och då går det inte heller att försvara.