Versionering av prompter och modeller
Kort svar
Varje mall och varje modellval ska ha ett versionsnummer, ett datum, en ansvarig och en anteckning om vad som ändrades. Körningar loggar vilken version som användes. Utan detta blir förändrat beteende ett mysterium, eftersom både modellen och mallen kan ha ändrats sedan förra veckan.
- Ändringar görs i en kopia och testas mot ett fast testset innan de tas i drift.
- Modellnamn och modellversion låses i konfigurationen, inte i texten.
- Föregående version behålls så att återgång tar minuter.
- Loggen sparar både promptversion och modellversion per körning.
En prompt uppfattas som text och hanteras därefter, medan kod hanteras med versioner och granskning. Skillnaden håller tills första gången någon frågar varför utfallet ändrades.
Fälten per version
| Fält | Exempel | Varför |
|---|---|---|
| Versionsnummer | Löpande, höjs vid varje ändring | Kopplar körning till innehåll |
| Datum | När versionen togs i drift | Avgränsar vilka körningar som berörs |
| Ansvarig | Namn, inte avdelning | Någon kan svara på varför |
| Ändringsnot | En rad om vad som ändrades och varför | Gör historiken läsbar |
Regler
Det fasta testsettet är det som gör rutinen billig. Med tjugo kända fall syns en förändring i beteende direkt, i stället för att upptäckas av en kund.
Underlag
- Vår bedömning
Modelluppdateringar hos leverantörer kan ändra utfall utan att er kod ändras.
Vanliga frågor
- Hur stort bör testsettet vara?
- Tjugo till trettio fall som täcker huvudfall och kända undantag räcker för de flesta flöden.
- Ska varje formulering versioneras?
- Höj numret vid varje ändring som går i drift. Utkast behöver inte numreras.