S07E68 - Betere AI-prompts in 5 woorden

In deze aflevering van AIToday Live staat de Chain of Draft techniek centraal. Deze innovatieve methode zorgt voor efficiëntere antwoorden uit taalmodellen zoals ChatGPT of Claude.

De techniek moedigt AI aan om korte, krachtige notities te maken in plaats van uitgebreide redeneerstappen. Dit leidt tot dezelfde nauwkeurigheid als traditionele methoden, maar met 90% minder tekst.

Voor bedrijven die AI op grote schaal inzetten, kan Chain of Draft aanzienlijke kostenbesparingen opleveren. De techniek werkt het beste met grote taalmodellen en vereist goede voorbeelden in de prompt.

Onderwerpen

• Chain of Draft techniek
• Probleem van breedsprakige AI
• Vergelijking met Chain of Thought
• Economische voordelen van efficiëntie
• Beperkingen en praktische toepassing

Links

• Onderzoek: Chain of Draft: Thinking Faster by Writing Less - Silei Xu et al.
• Podcast: AIToday Live aflevering S06E72 - 3 promptingtechnieken die je productiviteit verhogen
• Podcast: AIToday Live aflevering S06E76 - De kracht en beperkingen van o1-preview ontrafeld
• Podcast: AIToday Live aflevering S06E66 - AI-schaamte: een nieuwe manier om je schuldig te voelen?

Genoemde entiteiten: Zoom Communications

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

1
00:00:03,500 --> 00:00:06,780
Hoi, leuk dat je weer luistert naar een nieuwe aflevering van AIToday Live.

2
00:00:07,440 --> 00:00:11,520
Mijn naam is Joop Snijder, CTO bij Aigency en dit is de korte aflevering.

3
00:00:13,200 --> 00:00:16,820
En we gaan het vandaag hebben over de techniek Chain of Draft.

4
00:00:17,040 --> 00:00:26,120
Daar heb je waarschijnlijk nog nooit over gehoord, maar die zorgt ervoor dat je betere antwoorden krijgt uit taalmodellen zoals ChatGPT of CLOT.

5
00:00:27,220 --> 00:00:28,260
Ik ga het je uitleggen.

6
00:00:29,260 --> 00:00:32,560
Stel je voor, je stelt ChatGPT een simpele vraag.

7
00:00:33,280 --> 00:00:35,600
Hoeveel is 20 min 12?

8
00:00:36,160 --> 00:00:41,960
En in plaats van gewoon 8 te antwoorden krijg je een uitgebreide uitleg over hoe Jason zijn appels heeft verdeeld,

9
00:00:42,140 --> 00:00:46,400
waarom we aftrekken gebruiken en een stap voor stap analyse van het rekenproces.

10
00:00:47,780 --> 00:00:52,140
Compleet met een conclusie waarin nog een keer wordt herhaald dat het antwoord 8 is.

11
00:00:52,660 --> 00:00:54,620
Herkenbaar? Nou, dan ben je niet de enige.

12
00:00:55,520 --> 00:00:59,320
Want die breedspraakigheid is niet alleen vermoeiend om te lezen.

13
00:00:59,460 --> 00:01:02,420
Het verklaart ook waarom taalmodellen zo vaak hallucineren.

14
00:01:02,740 --> 00:01:06,260
Als je honderden woorden produceert waar tien vol staan.

15
00:01:06,840 --> 00:01:09,780
Ja, creëer simpelweg meer kansen om onzin uit te kramen.

16
00:01:10,880 --> 00:01:15,560
Nou, Chain of Draft klinkt een beetje als Chain of Thought Prompting.

17
00:01:15,720 --> 00:01:18,940
Want in aflevering 72 van het vorige seizoen hebben we het gehad.

18
00:01:19,120 --> 00:01:21,340
Namelijk over deze techniek, Chain of Thought Prompting.

19
00:01:21,800 --> 00:01:26,980
Deze techniek zorgt ervoor dat AI-modellen stap voor stap door problemen heen redeneren.

20
00:01:27,710 --> 00:01:33,280
Net zoals OpenAI's O-One model dat we bespraken in aflevering 76.

21
00:01:33,760 --> 00:01:34,900
Dus luister die eventjes terug.

22
00:01:35,580 --> 00:01:37,840
Kijk, het werkt fantastisch voor de nauwkeurigheid.

23
00:01:37,950 --> 00:01:42,780
Dus het stap voor stap dat het taalmodel er doorheen moet gaan.

24
00:01:44,060 --> 00:01:47,700
Het zorgt voor een verhoogde nauwkeurigheid, maar er zit een groot probleem al vast.

25
00:01:48,580 --> 00:01:52,340
De modellen worden namelijk ongelooflijk breedspraakig.

26
00:01:52,740 --> 00:01:55,060
Waar jij misschien snel op een papiertje zou schrijven.

27
00:01:55,380 --> 00:01:58,640
20 min x is 12, dus x is 8.

28
00:01:59,440 --> 00:02:02,840
Produceert een AI-model gemakkelijk 200 woorden aan uitleg.

29
00:02:03,040 --> 00:02:07,800
Vol met overbodige details over Jason en Danny en hun appels.

30
00:02:08,380 --> 00:02:11,039
Het is niet alleen irritant, het kost ook gewoon handenvol geld.

31
00:02:11,520 --> 00:02:14,620
Want elke token die je model genereert, kost je geld.

32
00:02:15,380 --> 00:02:19,660
Dus iedere denkstap en iedere uitleg kost gewoon geld.

33
00:02:20,120 --> 00:02:22,100
Elke seconde rekentijd kost je geld.

34
00:02:22,900 --> 00:02:26,760
En als je AI op schaal wilt inzetten, tellen die kosten snel op.

35
00:02:28,090 --> 00:02:34,940
Maar goed, laten we eens even kijken van hoe lossen wij eigenlijk een probleem als dit op.

36
00:02:35,110 --> 00:02:39,060
Dus als je een wiskundige som maakt, schrijf je dan ook zo'n uitgebreide uitleg.

37
00:02:39,800 --> 00:02:41,100
Ja, natuurlijk niet toch?

38
00:02:41,250 --> 00:02:42,920
Je krabbelt misschien op een papiertje.

39
00:02:43,120 --> 00:02:45,260
20 min 12 is 8.

40
00:02:46,320 --> 00:02:49,160
20 min 12 is 8. Op een papiertje. Je bent klaar.

41
00:02:49,940 --> 00:02:51,720
Hetzelfde geldt voor complexere problemen.

42
00:02:51,820 --> 00:02:55,420
Dus als je een presentatie moet voorbereiden, maak je eerst een lijstje met kernpunten.

43
00:02:55,820 --> 00:02:56,620
Korte steekwoorden.

44
00:02:57,780 --> 00:03:00,820
Probleem, oplossing, budget, tijdlijn.

45
00:03:01,600 --> 00:03:03,240
Pas daarna werk je de details uit.

46
00:03:03,720 --> 00:03:07,500
De onderzoekers van Zoom Communications hebben zich afgevraagd.

47
00:03:07,880 --> 00:03:12,080
Maar waarom leren we AI-modellen niet om net zo te werken?

48
00:03:12,760 --> 00:03:16,380
We geven AI-modellen de verkeerde menselijke eigenschappen.

49
00:03:16,690 --> 00:03:21,680
We leren ze om beleefd te zijn, uitgebreid te formuleren en alles tot in detail uit te leggen.

50
00:03:22,120 --> 00:03:25,900
Alsof ze een overijverige stagiair zijn die indruk wil maken.

51
00:03:26,750 --> 00:03:33,760
Maar de echte menselijke kracht zit in het vermogen om te filteren, prioriteren en juist bondig te communiceren.

52
00:03:34,380 --> 00:03:38,380
Een expert legt niet alles uit, maar weet precies wat relevant is.

53
00:03:39,040 --> 00:03:42,340
Dat is dan wat we de AI zouden moeten bijbrengen volgens hen.

54
00:03:43,580 --> 00:03:46,020
En zo ontstond Chain of Draft.

55
00:03:46,370 --> 00:03:54,600
In plaats van uitgebreide redeneerstappen van 50 woorden of meer worden AI modellen aangemoedigd om korte, krachtige notities te maken.

56
00:03:55,480 --> 00:03:56,920
Maximaal 5 woorden per denkstap.

57
00:03:57,600 --> 00:03:59,520
En het verschil is best wel dramatisch.

58
00:04:00,080 --> 00:04:04,120
Want waar Chain of Thought zou schrijven, laten we dit stap voor stap doordenken.

59
00:04:04,640 --> 00:04:06,420
Aanvankelijk had Jason 20 appels.

60
00:04:06,960 --> 00:04:10,420
Na het geven van enkele aan Danny heeft Jason er nu nog 12 over.

61
00:04:11,100 --> 00:04:13,500
Om uit te vinden hoeveel Jason aan Danny heeft gegeven,

62
00:04:13,860 --> 00:04:18,640
moeten we het verschil berekenen tussen het oorspronkelijke aantal en van wat er over is.

63
00:04:20,519 --> 00:04:22,040
Nou, dat is behoorlijk uitgebreid.

64
00:04:22,720 --> 00:04:30,220
En Chain of Draft schrijft simpelweg 20 min x is 12, dus x is 8.

65
00:04:30,580 --> 00:04:31,520
Punt. Klaar.

66
00:04:32,000 --> 00:04:35,700
Geen Jason, geen Danny, geen uitleg over waarom we optellen, aftrekken.

67
00:04:35,740 --> 00:04:37,140
Gewoon de kern van het probleem.

68
00:04:38,360 --> 00:04:41,100
En de resultaten spreken best wel het boekdelen.

69
00:04:41,490 --> 00:04:43,840
De onderzoekers testen dit namelijk op verschillende taken.

70
00:04:44,740 --> 00:04:47,440
Rekenopgaven, logische puzzels, datumberekeningen.

71
00:04:48,140 --> 00:04:54,500
En wat bleek, Chain of Draft behaalt dezelfde nauwkeurigheid als die traditionele Chain of Thought Prompting.

72
00:04:54,960 --> 00:04:58,060
Maar gebruikt zo'n 8% van de tokens.

73
00:04:59,420 --> 00:05:00,700
Laat dat even tot je doordringen.

74
00:05:01,640 --> 00:05:04,480
Dus meer dan 90% minder tekst.

75
00:05:05,660 --> 00:05:06,640
Maar dezelfde resultaten.

76
00:05:07,580 --> 00:05:10,000
Bij sommige taken was de besparing nog extremer.

77
00:05:11,100 --> 00:05:17,940
GPT-4O daalde het tokengebruik van 205 tokens naar 44 tokens per antwoord.

78
00:05:18,360 --> 00:05:20,760
En bij Claude van 190 naar 40 tokens.

79
00:05:21,300 --> 00:05:25,300
De economische impact wordt nog wel eens over het hoofd gezien van de taalmodellen.

80
00:05:25,340 --> 00:05:27,960
De kosten van taalmodellen dalen weliswaar.

81
00:05:28,500 --> 00:05:30,780
Maar het gebruik neemt juist exponentieel toe.

82
00:05:31,380 --> 00:05:34,680
Hoe meer we de kracht van de technologie zien, hoe meer we het gaan gebruiken.

83
00:05:35,740 --> 00:05:39,780
En anders dan bij traditionele systemen zijn de kosten op voorhand moeilijk in te schatten.

84
00:05:40,320 --> 00:05:43,060
Je weet niet hoeveel tokens een gesprek gaat kosten totdat het voorbij is.

85
00:05:43,660 --> 00:05:46,420
Daarom is deze kostenefficiëntie niet zomaar nice to have.

86
00:05:47,140 --> 00:05:52,040
Maar echt wel, als je een duurzame AI implementatie wil maken, noodzakelijk.

87
00:05:53,979 --> 00:05:56,120
En het gaat niet alleen om die tokens.

88
00:05:56,540 --> 00:06:01,480
Namelijk door minder tekst te genereren, wordt de AI ook veel sneller.

89
00:06:02,300 --> 00:06:06,520
Waar je eerder vier seconden moest wachten op een antwoord, krijg je nu een één seconde.

90
00:06:07,740 --> 00:06:09,680
En dat geeft ons een bepaald inzicht.

91
00:06:09,680 --> 00:06:13,660
Want een snelle antwoord betekent dat het model namelijk minder lang hoeft te rekenen.

92
00:06:14,380 --> 00:06:15,460
En rekenen kost energie.

93
00:06:15,890 --> 00:06:19,640
Dus je bespaart niet alleen tijd, maar vermindert ze ook gewoon energieverbruik.

94
00:06:20,140 --> 00:06:30,280
Voor bedrijven die AI op grote schaal inzetten betekent dit letterlijk dat je misschien wel duizenden, nog wel meer tienduizenden euro's besparing per jaar kan opleveren.

95
00:06:31,230 --> 00:06:40,180
We zijn soms zo gefocust op wat AI allemaal kan, complexe redeneringen, creatieve teksten, technische analyses, dat we vergeten te kijken naar hoe het die dingen doet.

96
00:06:41,380 --> 00:06:51,520
Chain of Draft laat dus zien dat een doorbraak niet alleen maar hoeft te zitten in nog slimmere modellen, maar het slim gebruiken van wat we al hebben.

97
00:06:52,040 --> 00:07:00,140
Voor de dagelijkse praktijk maakt het namelijk niet uit of je AI een Nobel prijswaardige antwoord kan geven als het te lang duurt en te veel kost.

98
00:07:01,260 --> 00:07:05,760
Efficiëntie is hier de stille held van een praktische AI toepassing.

99
00:07:07,860 --> 00:07:09,440
Is het perfect? Nou, denk ik niet.

100
00:07:10,400 --> 00:07:12,920
Zo'n chain of draft heeft namelijk ook beperkingen.

101
00:07:13,980 --> 00:07:18,820
En de grootste beperking is dat het niet werkt zonder goede voorbeelden.

102
00:07:19,100 --> 00:07:20,080
Voorbeelden in de prompt.

103
00:07:20,320 --> 00:07:23,740
In de studie, je kan het nalezen trouwens in de show notes,

104
00:07:24,440 --> 00:07:27,460
testen ze de chain of draft ook zonder voorbeelden.

105
00:07:27,480 --> 00:07:29,560
Wat we dan zero shot learning noemen.

106
00:07:30,200 --> 00:07:37,180
Dus je geeft gewoon aan van, je mag maar vijf woorden gebruiken voor je uitleg.

107
00:07:37,760 --> 00:07:38,520
En daar ging het mis.

108
00:07:39,200 --> 00:07:48,840
Bij Claude 3.5 Sonnet verbeterde deze techniek de prestatie dan maar met zo'n 3 tot 4 procent ten opzichte van directe antwoorden.

109
00:07:49,460 --> 00:07:51,280
Dat is vrijwel verwaarloosbaar.

110
00:07:51,880 --> 00:07:57,780
Het model heeft dus echt voorbeelden nodig van hoe ze zo'n korte chain of draft eruit moet zien.

111
00:07:58,460 --> 00:08:01,900
Anders valt het terug op gewoon oude uitgebreide manieren van redeneren.

112
00:08:02,840 --> 00:08:13,900
Een ander nadeel of beperking zou je eigenlijk moeten zeggen, is dat ook kleinere modellen met 3 miljard parameters of minder, die hebben grote moeite met deze techniek van die chain of draft.

113
00:08:14,280 --> 00:08:16,860
Bij die modellen zakt de nauwkeurigheid echt drastisch in.

114
00:08:17,560 --> 00:08:24,900
Ze zijn gewoon niet goed genoeg getraind om deze compacte manier van tussen aanhalingstekens redeneren om die te beheersen.

115
00:08:25,500 --> 00:08:31,400
Maar voor de grote modellen die we dagelijks gebruiken, GPT-4, Cloth, Gemini, werkt het echt uitstekend.

116
00:08:33,479 --> 00:08:35,080
Wat betekent dit nou voor jou?

117
00:08:35,640 --> 00:08:38,380
In de praktijk kun je Chain of Draft al gebruiken.

118
00:08:38,760 --> 00:08:42,640
Maar let op, je kunt niet zomaar aan ChatGPT vragen om kort te antwoorden.

119
00:08:42,820 --> 00:08:43,340
Dat werkt niet.

120
00:08:43,900 --> 00:08:47,540
Je moet voorbeelden geven van hoe je wilt dat het antwoordt.

121
00:08:48,260 --> 00:08:50,320
Hier is een concrete prompt die je kunt gebruiken.

122
00:08:52,200 --> 00:08:55,000
Denk stap voor stap, maar houd elke stap kort.

123
00:08:55,780 --> 00:08:57,360
Maximaal vijf woorden per denkstap.

124
00:08:57,780 --> 00:08:58,300
En dan komt het.

125
00:08:58,520 --> 00:08:59,560
Voorbeeld dubbele punt.

126
00:09:00,320 --> 00:09:01,660
Vraag dubbele punt.

127
00:09:02,010 --> 00:09:07,420
Een trein vertrekt om 14 uur 15 en rijdt 2 uur en 45 minuten.

128
00:09:08,820 --> 00:09:10,660
Dan geef je de vraag hoe laat komt hij aan?

129
00:09:11,120 --> 00:09:11,800
Antwoord dubbele punt.

130
00:09:12,220 --> 00:09:15,780
Start 14 uur 15 duur 2 uur 45 minuten.

131
00:09:16,080 --> 00:09:17,480
Aankomst 5 uur.

132
00:09:18,240 --> 00:09:18,900
1700 uur.

133
00:09:19,740 --> 00:09:20,360
Nog een voorbeeld.

134
00:09:20,940 --> 00:09:21,660
Vraag dubbele punt.

135
00:09:21,730 --> 00:09:26,460
Je koopt 3 t-shirts van 25 euro per stuk met 20% korting.

136
00:09:27,040 --> 00:09:27,720
Wat betaal je?

137
00:09:28,140 --> 00:09:28,880
Antwoord dubbele punt.

138
00:09:29,180 --> 00:09:31,660
Drie keer 25 euro is 75 euro.

139
00:09:32,860 --> 00:09:35,680
Korting 20% betalen 60 euro.

140
00:09:37,180 --> 00:09:38,840
Nu jouw vraag dubbele punt.

141
00:09:39,020 --> 00:09:41,400
En dan kan je gewoon je vraag erin gooien.

142
00:09:42,960 --> 00:09:44,600
Dus het geheim zit in die voorbeelden.

143
00:09:44,960 --> 00:09:49,220
Zonder voorbeelden valt de AI terug op zijn standaard manier van antwoorden.

144
00:09:49,400 --> 00:09:53,400
En dat is juist die breedsprakige chain of fault waar we juist vanaf willen.

145
00:09:53,800 --> 00:09:57,240
Door concrete voorbeelden te geven van korte bondige antwoorden.

146
00:09:57,520 --> 00:09:58,560
Snap dat model wat je bedoelt.

147
00:09:59,400 --> 00:10:02,380
Het is vooral handig voor taken waar je veel herhalende analyses doet.

148
00:10:03,080 --> 00:10:05,960
Overal waar je normaal gesproken een stappenplan zou maken.

149
00:10:08,280 --> 00:10:14,860
Wat mij betreft laat Chain of Draft zien dat de toekomst van AI niet per se ligt in steeds complexere modellen.

150
00:10:15,160 --> 00:10:17,480
Maar juist in slimmere manieren om ze te gebruiken.

151
00:10:18,900 --> 00:10:22,280
Efficiëntie wordt net zo belangrijk als intelligentie.

152
00:10:22,600 --> 00:10:25,520
Misschien moeten we daar een les uit trekken in een wereld vol informatie.

153
00:10:25,700 --> 00:10:30,360
constante communicatie, is het vermogen om kort en krachtig te zijn, waardevoller dan

154
00:10:30,490 --> 00:10:36,240
nooit. En als je experimenten doet met AI in je werk, kijk dan niet alleen naar wat

155
00:10:36,420 --> 00:10:40,420
mogelijk is, maar ook naar wat efficiënt is. Soms is minder gewoon echt meer.

156
00:10:41,000 --> 00:10:45,160
Nou, super bedankt weer voor het luisteren naar deze aflevering van AIToday Live.

157
00:10:45,800 --> 00:10:50,080
Vergeet je niet te abonneren voor meer inzichten over praktische AI toepassingen en bedenk,

158
00:10:50,400 --> 00:10:53,700
AI is niet de oplossing voor elk probleem, maar onmisbaar waar het past.