Ernstcriteria met voorbeelden

De oplossing is structureel. Geef het model voor elk ernstniveau twee dingen:

• Een regel — een toetsbare voorwaarde ("veroorzaakt gegevensverlies, een beveiligingslek of een crash in productie").
• Een ankeringsvoorbeeld — een kort fragment dat ondubbelzinnig bij dat niveau hoort.

Dit is few-shot prompting toegepast op een schaal: 2-4 gerichte voorbeelden per onduidelijkheid. Het model generaliseert vanuit de ankers — het echoot ze niet alleen — dus een handvol goed gekozen voorbeelden kalibreert de hele schaal.

Critical is gereserveerd voor problemen die gegevensverlies, een beveiligingslek of een crash in productie veroorzaken. Veranker dit met iets onmiskenbaars — hier: directe interpolatie van tekenreeksen in SQL.

Let erop dat het anker een dubbele functie heeft: het definieert de bovengrens van de schaal, zodat het model weet dat niets milders dit niveau mag bereiken.

High omvat verkeerd gedrag dat het proces niet laat crashen maar wel onjuiste resultaten oplevert — een logische fout, een verkeerd afgehandeld randgeval of een off-by-one-fout. Het anker maakt de grens met Critical concreet: geen beveiligingslek, geen crash, maar wel onjuiste uitvoer.

Aan het lage uiteinde van de schaal lekken vage prompts de meeste fout-positieven, dus ook dit uiteinde moet je zorgvuldig verankeren.

• Medium — risico voor onderhoudbaarheid of betrouwbaarheid dat nog geen bug is (een ontbrekende time-out, een niet-afgehandeld maar zeldzaam foutpad).
• Low — alleen stijl en naamgeving; geen invloed op gedrag.

Door Low expliciet te definiëren, kun je later zeggen "rapporteer Low niet in controles vóór het samenvoegen" zonder dat het model tegensputtert.

De verankerde niveaus worden één blok in de systeemprompt. Houd dit blok stabiel en vooraan — het is hetzelfde voor elk bestand dat je beoordeelt, waardoor het een perfecte prefix voor promptcaching is. Het verschil per bestand komt in de gebruikersbeurt, na de gecachte schaal.

Een opgeschreven schaal vertelt het model hoe het moet beslissen; gestructureerde uitvoer garandeert de vorm van het antwoord. Koppel ernst aan een JSON Schema enum, zodat het veld nooit een vrij tekstueel bijvoeglijk naamwoord zoals "prettyBad" kan zijn.

Onthoud deze examenregel: markeer een veld alleen als required als het altijd aanwezig is. severity en line bestaan altijd voor een echte bevinding, dus die zijn vereist; een optionele suggested_fix niet.

Combineer nu de gecachte, verankerde schaal met het door enum beperkte schema in één verzoek. Het verschil is het enige veranderlijke onderdeel en staat daarom achteraan in de gebruikersbeurt.

Deze combinatie — expliciete criteria voor de beslissing, gestructureerde uitvoer voor de indeling — is het aanbevolen patroon van het examen voor betrouwbare extractie en classificatie.

Zodra ernst een zuivere enum is, wordt de beslissing om een samenvoeging te blokkeren bepaald door deterministische code, niet door een oordeel van het model. Het model classificeert; je pijplijn bepaalt de drempels.

Dit weerspiegelt het hookprincipe uit het examen: wanneer een fout echte gevolgen heeft (een mislukte samenvoeging), dwing je die af met deterministische code en niet met een probabilistische prompt. De schaal maakt de labels van het model betrouwbaar genoeg om als poort te gebruiken.

Een subtiele valkuil: als je het model in de fase van de bevinding vertelt dat het "alleen Critical en High mag rapporteren", verlaag je de trefkans — het laat stilletjes problemen vallen die het lager heeft ingeschaald, waardoor je mogelijk gewenste dekking verliest.

Het robuuste patroon: laat het model elke bevinding met de bijbehorende ernst rapporteren en filter daarna in een afzonderlijke vervolgstap (je set BLOCKING of een onafhankelijke beoordelingsronde). Eerst dekking, daarna rangschikking. Verankerde criteria maken die rangschikking achteraf betrouwbaar.

Belangrijkste punten:

• Vage bijvoeglijke naamwoorden verschuiven; opgeschreven regels niet. Vervang "belangrijk" door een toetsbare voorwaarde per ernstniveau.
• Veranker elk niveau met een codevoorbeeld. 2-4 gerichte few-shot-ankers kalibreren de schaal — het model generaliseert vanuit deze voorbeelden.
• Leg het label vast met een enum. Gestructureerde uitvoer zorgt dat severity altijd een van de geldige waarden is; vereist alleen velden die altijd aanwezig zijn.
• Cache de schaal, varieer het verschil. Houd de stabiele criteria vooraan in de systeemprompt en plaats de code per bestand achteraan.
• Classificeer in het model, bepaal de poort in code. Rapporteer alle bevindingen met hun ernst en filter of blokkeer ze daarna deterministisch in een vervolgstap — filter nooit zelf in de fase van de bevinding.