Few-shot prompting is een manier van prompten waarbij je een taalmodel eerst een paar uitgewerkte voorbeelden geeft en daarna pas de echte opdracht. De term komt uit het onderzoek achter GPT-3 en verschilt van zero-shot en one-shot prompting alleen in het aantal voorbeelden.
Een model verandert er niet door, maar herkent het patroon in je voorbeelden en zet dat voort bij nieuwe input. Een goede few-shot prompt bestaat uit een korte instructie, twee tot vijf voorbeelden in dezelfde vorm en daarna de nieuwe input.
Voorbeelden sturen sterker dan je verwacht. Een model neemt lengte, toon en zelfs fouten over, en bij redeneertaken met meerdere stappen schiet de techniek tekort.
In je werk loont few-shot prompting vooral bij taken die steeds terugkomen, zoals mails indelen of aantekeningen in een vaste vorm zetten.
Wat betekent few-shot prompting?
Few-shot prompting betekent dat je een taalmodel een paar voorbeelden van input en gewenste output geeft voordat je de echte opdracht stelt. Shot staat hier voor voorbeeld, dus few-shot is letterlijk een paar voorbeelden.
De term werd bekend door het onderzoeksartikel Language Models are Few-Shot Learners van onderzoekers van OpenAI (Brown en anderen, 2020). Daarin lieten zij zien dat GPT-3 een nieuwe taak kon oppakken uit enkele voorbeelden in de prompt, zonder extra training. Tot dan toe moest je een model voor elke taak apart bijtrainen.
Few-shot prompting is een van de basistechnieken binnen prompting, naast een heldere instructie en voldoende context.
Wat is het verschil tussen zero-shot en few-shot prompting?
Zero-shot, one-shot en few-shot prompting verschillen alleen in het aantal voorbeelden dat je meegeeft: nul, één of meerdere. De tabel zet de drie naast elkaar, met het moment waarop je elke techniek kiest.
| Techniek | Aantal voorbeelden | Wanneer kies je deze techniek |
|---|---|---|
| Zero-shot | Geen | Bij taken die een model met alleen een instructie goed uitvoert, zoals een tekst samenvatten |
| One-shot | Eén | Wanneer je één vorm wilt laten zien, zoals de opbouw van een verslag |
| Few-shot | Twee of meer | Wanneer de output steeds dezelfde vorm, stijl of indeling moet krijgen |
Begin meestal zonder voorbeelden. Voeg ze pas toe wanneer de output niet de vorm krijgt die je wilt.
Hoe werkt few-shot prompting?
Few-shot prompting werkt doordat een taalmodel het patroon in je voorbeelden herkent en dat voortzet bij de nieuwe input. Aan het model zelf verandert niets: de voorbeelden gelden alleen binnen die ene prompt of dat ene gesprek. Onderzoekers noemen dit in-context learning.
Wat een model precies overneemt, onderzochten Min en anderen in 2022. Zij ontdekten dat de vorm van de voorbeelden zwaarder weegt dan de vraag of de antwoorden erin kloppen. Zelfs voorbeelden met willekeurig gekozen antwoorden gaven betere resultaten dan helemaal geen voorbeelden, zolang het formaat klopte.
Voor je eigen prompts betekent dat vooral: besteed de meeste aandacht aan een consistente opbouw van je voorbeelden.
Hoe schrijf je een few-shot prompt?
Een few-shot prompt schrijf je in drie delen: een korte instructie, een paar voorbeelden in precies dezelfde vorm en daarna de nieuwe input. Scheid de voorbeelden duidelijk met vaste labels, zodat het model ziet waar een voorbeeld begint en eindigt.
Een voorbeeld uit kantoorwerk is binnenkomende mails indelen in vaste categorieën:
Deel elke mail in bij één categorie: Vraag, Aanlevering, Afspraak of Klacht. Geef alleen de categorie.
Mail: Hierbij de bankafschriften van het tweede kwartaal.
Categorie: Aanlevering
Mail: Kunnen we volgende week dinsdag bellen over de jaarrekening?
Categorie: Afspraak
Mail: Ik heb nog steeds geen reactie op mijn vraag van vorige maand.
Categorie: Klacht
Mail: Moet ik de verkoop van mijn auto opgeven in de aangifte?
Categorie:
De laatste regel laat je open. Een model vult daar de categorie in volgens het patroon, in dit geval Vraag. Voorbeelden werken het best in combinatie met duidelijke achtergrond over je situatie.
Hoeveel voorbeelden geef je mee bij few-shot prompting?
Voor de meeste taken volstaan bij few-shot prompting twee tot vijf voorbeelden. Begin met twee en voeg er een toe op het punt waar de output afwijkt van wat je wilt. Meer voorbeelden maken een prompt langer, en een lange prompt kost meer tokens en laat minder ruimte voor de eigenlijke input.
Belangrijker dan het aantal is de keuze. Goede voorbeelden verschillen in inhoud en zijn gelijk in vorm. Drie mails over hetzelfde onderwerp leren een model weinig. Drie mails over verschillende onderwerpen, elk in dezelfde opbouw, laten zien wat vastligt en wat varieert.
Wat neemt een model over uit few-shot voorbeelden?
Uit few-shot voorbeelden neemt een model meer over dan je bedoelt, omdat het niet kan zien welke kenmerken toevallig zijn. Deze vijf dingen komen het vaakst terug in de output:
- Lengte: korte voorbeelden leveren korte antwoorden op, ook wanneer de nieuwe vraag meer uitleg nodig heeft.
- Toon: formele voorbeelden geven formele output, ook in een mail aan een vaste relatie.
- Fouten: een taalfout of verkeerd bedrag in een voorbeeld kan zonder waarschuwing terugkomen.
- Inhoudelijke details: namen, bedragen en data uit een voorbeeld duiken soms op in een antwoord waar ze niet horen, een vorm van AI hallucinatie.
- Verhoudingen: staan er drie klachten en één vraag in je voorbeelden, dan kiest een model sneller voor klacht.
Gebruik daarom geen echte cliëntgegevens als voorbeeld. Een voorbeeld zit in elke prompt die je ermee maakt en gaat dus elke keer mee naar de aanbieder van de tool. Maak voorbeelden anoniem of bedenk ze zelf.
Wanneer werkt few-shot prompting niet?
Few-shot prompting werkt slecht bij redeneertaken met meerdere stappen, bij tegenstrijdige voorbeelden en bij eenvoudige taken. Bij een rekensom of een fiscale afweging ziet een model in je voorbeelden alleen de uitkomst, niet de tussenstappen. Zo leert het de vorm van een antwoord zonder de redenering erachter.
Voor zulke taken werkt chain-of-thought prompting beter: je laat het model de stappen uitschrijven, eventueel met voorbeelden waarin die stappen staan.
Tegenstrijdige voorbeelden, zoals twee vergelijkbare mails met een verschillende categorie, maken de output onvoorspelbaar. En bij een eenvoudige vraag die een model met alleen een instructie al goed beantwoordt, voegen voorbeelden vooral lengte toe.
Hoe gebruik je few-shot prompting in je werk?
Few-shot prompting gebruik je in je werk het best bij taken die steeds terugkomen en een vaste vorm hebben: mails indelen, aantekeningen omzetten naar een vast verslag, teksten in één huisstijl schrijven of gegevens uit documenten in een tabel zetten.
Plak de voorbeelden dan niet elke keer opnieuw in een chat, maar leg ze één keer vast in de instructies van een eigen assistent. Zelf werk ik met één project per klant, met de klantcontext in losse bestanden, en voor vrijwel elke taak die vaker dan een paar keer langskomt bouw ik inmiddels een skill.
Wil je leren hoe je prompts, voorbeelden en vaste werkwijzen opzet voor je eigen werk, dan behandelt de AI cursus dat stap voor stap. Een paar goede voorbeelden maken vaak het verschil tussen een antwoord dat je herschrijft en een antwoord dat je meteen gebruikt.
