S08E81 - AI-agents bij PostNL: proces, techniek en adoptie

Frits Snijder, Senior Product Manager bij PostNL, bouwde een AI-systeem voor klachtenverwerking dat technisch klopte maar in de praktijk vastliep op de 20% gevallen die er het meest toe deden. Het probleem bleek niet de technologie, maar de volgorde: het team begon bij de oplossing in plaats van bij het probleem. Frits laat zien hoe je onderscheid maakt tussen een agent-probleem en een workflow-probleem, en waarom dat verschil maanden vertraging scheelt.

Na anderhalve week pilot op één sorteercentrum waren medewerkers twee en een half keer sneller — niet omdat het systeem snel was, maar omdat ze begrepen wat het deed. Morgen kun je beginnen met één vraag: heb je voor je huidige AI-project al naast de gebruiker gezeten? Zo nee, plan dat gesprek eerst.

Onderwerpen

• Het verschil tussen AI-agents en workflows in klachtenverwerking
• Gebruikersonderzoek als startpunt voor AI-implementatie
• Transparantie en menselijke controle bij automatisering
• Van pilot naar productie met gefaseerde investeringsbeslissingen

Links

• Podcast: AIToday Live podcast
• Bedrijf: PostNL: Jouw favoriete bezorger | PostNL
• Kaartspel: AI Game Changer - Generative AI editie

Genoemde entiteiten: PostNL - Sophie

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

Copy

1
00:00:00,000 --> 00:00:04,599
Vandaag spreken we met Frits Snijder, Senior Product Manager bij PostNL.

2
00:00:05,599 --> 00:00:11,000
Frits houdt zich de afgelopen twee jaar bezig met AI in klantenservice en klachtenverwerking.

3
00:00:11,400 --> 00:00:15,000
PostNL bezorgt ruim 1,2 miljoen pakketten per dag.

4
00:00:15,400 --> 00:00:23,000
Als er dan iets mis gaat, beland die klacht bij een medewerker die in 10 tot 12 systemen moet zoeken om een antwoord te vinden.

5
00:00:24,000 --> 00:00:27,000
Frits probeerde dat op te lossen met AI-agents.

6
00:00:27,000 --> 00:00:30,000
Wat hij ontdekte, veranderde zijn aanpak volledig.

7
00:00:31,000 --> 00:00:33,000
Want wanneer is een agent eigenlijk de juiste keuze?

8
00:00:34,000 --> 00:00:37,000
En wanneer is een gewone workflow gewoon veel slimmer?

9
00:00:39,080 --> 00:00:42,360
Joop: Leuk dat je weer luistert naar een nieuwe aflevering van AIToday Live.

10
00:00:42,360 --> 00:00:46,120
Joop: Zeer om, maar dat zul je zo direct horen waarom.

11
00:00:46,360 --> 00:00:48,759
Joop: Ik ben Joop Snijder, hij van Info Support.

12
00:00:48,759 --> 00:00:51,639
Niels: Ik ben Niels en ik werk bij Info Support.

13
00:00:51,640 --> 00:00:57,320
Joop: En ja, we hebben vandaag en dat zeggen we wel eens vaker, maar in dit geval echt.

14
00:00:57,320 --> 00:00:58,839
Joop: Want het is mijn jongere broer.

15
00:00:58,840 --> 00:01:00,039
Joop: Frits Snijder.

16
00:01:00,919 --> 00:01:09,080
Joop: Ik heb Frits niet gevraagd omdat hij mijn jongere broer is, maar omdat hij hele gave dingen doet en gedaan heeft bij PostNL met AI agents.

17
00:01:09,079 --> 00:01:10,840
Joop: Maar daar gaan we het direct over hebben.

18
00:01:10,839 --> 00:01:14,759
Joop: Frits, wil je jezelf eerst even voorstellen aan de luisteraars.

19
00:01:14,759 --> 00:01:15,239
Frits: Zeker.

20
00:01:15,239 --> 00:01:17,479
Frits: Ik ben Frits dus zoals je zei.

21
00:01:17,480 --> 00:01:21,000
Frits: Ik werk bij PostNL al een jaartje of twaalf.

22
00:01:21,000 --> 00:01:24,919
Frits: Een jaartje of acht binnen IT allerlei verschillende rollen gedaan.

23
00:01:25,239 --> 00:01:30,520
Frits: Ik denk dat eigenlijk elke rol ging wel over grote veranderingen.

24
00:01:32,119 --> 00:01:33,960
Frits: Nieuwe softwareproducten.

25
00:01:34,280 --> 00:01:42,599
Frits: En de laatste anderhalf jaar, twee jaar heb ik me vooral bezig gehouden rondom klantenservice en rondom klachtenverwerking op depo's.

26
00:01:43,799 --> 00:01:47,559
Frits: Die laatste twee is ook het moment aan AI aan bod gekomen.

27
00:01:48,519 --> 00:01:53,640
Frits: Hoe maken we producten met AI, maar ook echt AI in de producten zelf.

28
00:01:54,280 --> 00:01:56,119
Joop: Volgens mij is dat ook de reden dat ik hier zit.

29
00:01:56,120 --> 00:01:56,599
Joop: Zeker.

30
00:01:56,760 --> 00:02:00,599
Joop: En je bent product manager daarvan.

31
00:02:01,719 --> 00:02:15,319
Joop: Er was een begin van een belofte waarom je met AI agents begonnen bent, zou je zeg maar de context kunnen scheppen van waar je in zat en waarom je hiermee begonnen bent.

32
00:02:16,200 --> 00:02:19,159
Frits: Ja, dus pak ik eigenlijk even allebei de voorbeelden.

33
00:02:19,560 --> 00:02:23,159
Frits: Want ik denk dat bij beide eigenlijk het begin eigenlijk wel wat anders was.

34
00:02:23,400 --> 00:02:26,519
Frits: Dus als ik kijk naar klantenservice.

35
00:02:26,519 --> 00:02:29,479
Frits: Toen werd ik ook echt specifiek gevraagd van.

36
00:02:29,799 --> 00:02:32,439
Frits: Frits wil jij dit gaan doen.

37
00:02:32,439 --> 00:02:34,920
Frits: Wij willen dit met AI gaan oplossen.

38
00:02:34,920 --> 00:02:43,159
Frits: Ze was eigenlijk iemand die bedacht had van nou ja, ik denk dat we als we hier AI in gaan zetten dan kunnen we het beter en goedkoper maken.

39
00:02:44,120 --> 00:02:48,120
Frits: En echt ook gezegd van dit gaan we met agents oplossen.

40
00:02:48,439 --> 00:02:57,479
Frits: En ik denk bij klachten op de depo's, hebben we eigenlijk veel meer gekeken van wat is nou je echt het probleem, wat is er aan de hand.

41
00:02:57,800 --> 00:03:02,039
Frits: Veel meer analyse gedaan en toegekeken hoe zo we dat het beste kunnen oplossen.

42
00:03:02,039 --> 00:03:04,840
Frits: En zou AI daar een rol kunnen spelen.

43
00:03:04,840 --> 00:03:10,200
Frits: En de uitkomsten van beide zijn dus ook dan wel wat anders gegeven, het andere startpunt.

44
00:03:10,439 --> 00:03:15,000
Joop: Maar laten we dan beginnen bij het startpunt bij het eerste bij het eerste vraagstuk.

45
00:03:17,799 --> 00:03:28,120
Frits: Wat je daar zag, is dat ik denk dat er veel optimisme was dit doen we wel even met AI.

46
00:03:33,400 --> 00:03:37,560
Frits: En ik denk dat het ons ook misschien wel een beetje op het verkeerde been heeft gezet.

47
00:03:37,719 --> 00:03:39,640
Frits: Qua AI agents.

48
00:03:39,639 --> 00:03:43,480
Frits: Dus uiteindelijk wat we gedaan hebben, is uiteraard gekeken naar het proces.

49
00:03:43,479 --> 00:03:49,160
Joop: Dus ik denk een van de eerste dingen die we gedaan hebben, is misschien toch nog heel even terug en wat was het basis het idee?

50
00:03:49,160 --> 00:03:50,840
Joop: Het moest sneller goedkoper.

51
00:03:51,080 --> 00:03:52,120
Frits: Wat was het?

52
00:03:52,120 --> 00:03:54,040
Joop: Wat was de probleemstelling?

53
00:03:56,759 --> 00:04:01,079
Frits: Wij leveren bij PostNL ongeveer 1,2 miljoen pakketten per dag.

54
00:04:01,080 --> 00:04:05,000
Frits: En als je 1,2 miljoen pakketten per dag bezorgt, dan gaat er ook wel eens wat mis.

55
00:04:05,640 --> 00:04:09,000
Frits: En als dan wat misgaat, wat doet een consument?

56
00:04:09,000 --> 00:04:10,439
Frits: Die gaat naar de webshop.

57
00:04:10,439 --> 00:04:13,400
Frits: Die zegt wat misgegaan met mijn pakket.

58
00:04:13,400 --> 00:04:17,879
Frits: Of met de bezorging of een beschadiging kan van alles zijn.

59
00:04:18,119 --> 00:04:21,640
Frits: En dan neem die webshop die neem ik contact op met PostNL.

60
00:04:22,120 --> 00:04:25,480
Frits: Vervolgens komt er bij de zakelijke klantenservice binnen.

61
00:04:25,479 --> 00:04:29,080
Frits: En die gaat vervolgens die klacht in behandeling nemen.

62
00:04:29,079 --> 00:04:33,079
Frits: En in het behandelen in behandeling nemen van die klacht.

63
00:04:33,719 --> 00:04:38,840
Frits: Dat kost gewoon tijd en dat is heel veel mensenwerk.

64
00:04:38,840 --> 00:04:47,239
Frits: En het idee was, kunnen we dat deel, zeg maar beter digitaal ondersteunen met AI agent.

65
00:04:47,479 --> 00:04:55,479
Niels: Dus dat was eigenlijk bijna in beeld, wat is volgens jullie context dan een AI-agent.

66
00:04:55,560 --> 00:05:00,120
Frits: Misschien is het nog wel veranderd over tijd, dus die context kreeg ik toen niet mee.

67
00:05:01,160 --> 00:05:02,280
Joop: Belangrijk gegeven.

68
00:05:03,000 --> 00:05:08,199
Frits: Dus het was toen gewoon van met een agent.

69
00:05:08,439 --> 00:05:14,360
Frits: Zonder denk ik echt na te denken van wat is dan precies een agent, kan dit vast heel veel beter.

70
00:05:14,360 --> 00:05:16,920
Niels: Dus de belofte uit de markt en de technologie.

71
00:05:19,000 --> 00:05:27,879
Frits: Dus er was niet een soort van definitie van een agent is een stukje software en die heeft wat input of die laat je iets waarnemen.

72
00:05:27,879 --> 00:05:29,399
Frits: Die geef je tools en er komt iets in.

73
00:05:29,399 --> 00:05:30,439
Frits: Nee, dat was er niet.

74
00:05:30,439 --> 00:05:31,959
Frits: Het was gewoon agents.

75
00:05:31,959 --> 00:05:33,079
Niels: Die gaat het oplossen.

76
00:05:33,079 --> 00:05:35,480
Frits: Ja, die gaan het oplossen.

77
00:05:35,480 --> 00:05:38,240
Frits: Dus dat was eigenlijk nog niet zozeer een plan.

78
00:05:36,920 --> 00:05:42,080
Frits: Het was ook niet dat het al heel lang liep dit idee, dat is gewoon start van een idee.

79
00:05:44,240 --> 00:05:51,040
Frits: Dus wat we gedaan hebben, is uiteindelijk gekeken van oké, als zo'n vraag binnenkomt bij de klantenservice.

80
00:05:51,199 --> 00:05:53,520
Frits: Wat doet eigenlijk zo'n medewerker.

81
00:05:54,639 --> 00:05:57,439
Frits: Wat wil zo'n medewerker.

82
00:05:59,519 --> 00:06:03,519
Frits: En welke processtappen loopt zeg maar zo'n medewerker door.
83
00:06:04,000 --> 00:06:09,680
Frits: Dus daar hebben we heel erg naar gekeken, we hebben bijvoorbeeld gekeken naar ook niet elke webshop is zeg maar hetzelfde.
 83
00:06:09,920 --> 00:06:19,520
Frits: Dus als er een pakketje van een van de grotere webshops kwijtraakt, is dat nog wat anders als voor iemand die zelf een klein webwinkeltje heeft.
 84
00:06:19,519 --> 00:06:23,439
Frits: Dus het is een grote webshop, ja die heeft ook miljoenen pakketten per dag.
 85
00:06:23,680 --> 00:06:25,199
Frits: Dus daar gaat af en toe ook eens wat mis.
 86
00:06:25,199 --> 00:06:28,479
Frits: Die raken ook af en toe eens een keer wat kwijt of iets anders.
 87
00:06:28,480 --> 00:06:33,199
Frits: Dus die kijken daar heel anders tegenaan als bijvoorbeeld een hele kleine webshop.
 88
00:06:33,360 --> 00:06:36,080
Frits: Dus daar komt veel sneller emotie bijvoorbeeld bij kijken.
 89
00:06:38,399 --> 00:06:41,360
Frits: Dus eigenlijk al dat soort dingen hebben we zeg maar in kaart gebracht.
 90
00:06:41,360 --> 00:06:47,840
Frits: En toen zijn we eigenlijk aan de slag gegaan om te kijken van kunnen we een aantal onderzoekshandelingen.
 91
00:06:48,240 --> 00:06:57,439
Frits: Dus zo'n medewerker doet onderzoek naar stel dat op pakket dat daar een vraag over is, waar is mijn pakket, dat was eigenlijk de meest gestelde vraag.
 92
00:06:57,439 --> 00:07:01,680
Frits: Die doet een aantal onderzoekhandelingen, dus die kan een aantal systemen kijken.
 93
00:07:01,680 --> 00:07:05,439
Frits: Die kan kijken of misschien de barcode gaandeweg is gewijzigd.
 94
00:07:05,439 --> 00:07:12,800
Frits: Dus je kan je bijvoorbeeld voorstellen dat zo'n zo'n label, als dat bijvoorbeeld niet goed vastzit, of dat raakt beschadigd, dat ze er een nieuwe barcode op doen.
 95
00:07:13,199 --> 00:07:17,840
Frits: Er staat daardoor kan, zeg maar, de track en trace uiteindelijk misschien niet helemaal goed hebben gewerkt.
 96
00:07:18,240 --> 00:07:20,480
Frits: Dat soort achtige stappen doen ze.
 97
00:07:20,639 --> 00:07:24,479
Frits: Daar hebben we heel erg naar gekeken van kijk, zouden we dat kunnen digitaliseren.
 98
00:07:26,879 --> 00:07:31,840
Frits: Toen zijn we eigenlijk direct meteen begonnen met ook dat echt met agents te doen.
 99
00:07:31,840 --> 00:07:34,880
Frits: En achteraf heb ik voor mezelf gedaan, hoe komt dat dan?
 100
00:07:35,039 --> 00:07:37,920
Frits: Waarom zijn we dan meteen met agents begonnen.
 101
00:07:37,920 --> 00:07:42,319
Frits: En kwam is dat dan gekomen omdat ze zeiden, dit kan je oplossen met agents.
 102
00:07:42,480 --> 00:07:44,160
Frits: Was het omdat dat de opdracht was?
 103
00:07:44,159 --> 00:07:52,960
Frits: Of tegelijkertijd hadden we een soort van experiment gedaan met een van onze partners.
 104
00:07:52,960 --> 00:07:55,359
Frits: Om gewoon eens te kijken van hoe werken agents.
 105
00:07:55,360 --> 00:08:05,839
Frits: En daar hadden we eigenlijk deze casus ook voorgenomen om eens te kijken, kunnen we al heel snel iets maken wat behulpzaam zou kunnen zijn om deze vraag te beantwoorden.
 106
00:08:05,840 --> 00:08:08,000
Joop: En wat was het resultaat van dat experiment?
 107
00:08:08,000 --> 00:08:11,199
Frits: Nou, dat was in het begin best goed.
 108
00:08:13,439 --> 00:08:15,920
Frits: Toen vond ik dat verrassend, nu wat minder.
 109
00:08:16,800 --> 00:08:20,639
Frits: Je hebt dan al heel snel dat je denkt, ah ja, dit is al best wel heel goed.
 110
00:08:20,960 --> 00:08:27,200
Frits: Ik weet niet of dat dan 80 of 85 procent is, dat maakt niet uit best wel heel goed.
 111
00:08:28,159 --> 00:08:30,959
Frits: En dan denk je, hier ga ik op voortbouwen.
 112
00:08:32,960 --> 00:08:40,879
Frits: Dus voor je dit weet, stap je eigenlijk te onnadenkend in ga dit oplossen met agents.
 113
00:08:41,360 --> 00:08:44,480
Frits: En toen kwam eigenlijk op een gegeven moment op een punt.
 114
00:08:44,800 --> 00:08:51,520
Frits: Dat we dat we het eigenlijk niet veel beter kregen als dat we hadden, maar het was nog niet goed genoeg.
 115
00:08:52,240 --> 00:08:54,560
Joop: En kan je aangeven waar dat dan lag.
 116
00:08:54,560 --> 00:08:58,240
Frits: Nou, dat kwam eigenlijk wel een.
 117
00:08:58,720 --> 00:09:00,800
Joop: Misschien moet ik heel even terug.
 118
00:09:01,279 --> 00:09:03,519
Joop: Wat hadden jullie gedefinieerd als goed genoeg?
 119
00:09:03,519 --> 00:09:05,839
Joop: Waarom wist je dat het niet goed genoeg was?
 120
00:09:06,560 --> 00:09:09,439
Frits: Het was in ieder geval niet goed genoeg voor de business.
 121
00:09:09,440 --> 00:09:16,400
Frits: Dat ze zeiden, dit geeft in zoveel procent van de gevallen het juiste antwoord.
 122
00:09:19,279 --> 00:09:22,160
Frits: Dit vonden wij zelf ook niet dat we zeiden van oké, hier kunnen we.
 123
00:09:22,159 --> 00:09:23,039
Joop: Het was duidelijk.
 124
00:09:23,039 --> 00:09:25,120
Frits: Ja, dat was dat was gewoon duidelijk.
 125
00:09:26,480 --> 00:09:35,920
Frits: Wat we gedaan hadden, moet even een klein stukje vertellen, hoe we het hadden ingericht is, we hadden eigenlijk een teamlead agent.
 126
00:09:35,919 --> 00:09:38,080
Frits: En die stuurde drie andere agents aan.
 127
00:09:39,600 --> 00:09:42,960
Frits: En ze hadden eigenlijk een gespecialiseerde agent voor elke stap.
 128
00:09:43,279 --> 00:09:45,279
Frits: Dat dachten van dat klinkt.
 129
00:09:45,759 --> 00:09:49,520
Niels: Voor die research onderdelen voor al die verschillende onderzoekshandelingen.
 130
00:09:51,440 --> 00:10:01,519
Frits: En toen merkte op een gegeven moment van ja, als we het ging een beetje gingen tweaken, zodat het voor de ene ene onderzoekshandeling heel goed was, dan werd het toch net iets minder bij de ander.
 131
00:10:02,720 --> 00:10:04,320
Frits: Zo kregen we het eigenlijk net niet goed.
 132
00:10:04,319 --> 00:10:07,840
Frits: En we waren continu bezig, en aan twee kanten werd het een beetje beter.
 133
00:10:08,319 --> 00:10:10,399
Joop: Het krijgt een beetje de wet van de communicerende vaten.
 134
00:10:13,039 --> 00:10:14,639
Frits: En op een gegeven moment.
 135
00:10:16,240 --> 00:10:22,000
Frits: Een van mijn engineers, uit mijn team zat naast een medewerker, want dat deden we wel heel veel.
 136
00:10:22,279 --> 00:10:30,520
Frits: We zorgen dat we één, twee keer in de week echt naast de medewerker zaten om echt goed te begrijpen wat ze waar zijn wij mee bezig, wat gaat het opleveren, heb je daar wat aan.
 137
00:10:31,399 --> 00:10:41,160
Frits: En die medewerker die was op een gegeven moment iets heel snel aan het best wel snel aan het wegklikken, zo van oh, nee, maar dit is zo'n soort type case.
 138
00:10:41,639 --> 00:10:43,480
Frits: En die engineer vocht.
 139
00:10:44,519 --> 00:10:45,320
Frits: Wat doe je?
 140
00:10:45,320 --> 00:10:46,120
Joop: Wat is dit?
 141
00:10:46,279 --> 00:10:47,720
Joop: Dat is meteen nieuwsgierig.
 142
00:10:48,440 --> 00:10:52,440
Frits: Dit is een pakket wat we eigenlijk nooit hebben ontvangen.
 143
00:10:52,600 --> 00:10:55,720
Frits: Dat blijkt, dus we krijgen dus vragen over pakketten.
 144
00:10:57,000 --> 00:11:00,920
Frits: Maar we hebben eigenlijk dat pakket nooit ontvangen van de webshop van de webshop.
 145
00:11:01,879 --> 00:11:04,040
Frits: En zij kon dat al heel snel zien.
 146
00:11:05,799 --> 00:11:10,040
Frits: En toen begon ik eigenlijk te denken, ja, maar waarom kunnen wij dat dan niet zo goed herkennen?
 147
00:11:11,559 --> 00:11:14,120
Frits: Hebben we weer wat afstand genomen.
 148
00:11:14,679 --> 00:11:17,079
Frits: Eigenlijk heel dat agents even weggelaten.
 149
00:11:17,080 --> 00:11:22,920
Frits: En toen toch is gekeken en toen kwamen er eigenlijk achter, ja, maar je hebt verschillende types scenario's.
 150
00:11:23,000 --> 00:11:29,960
Frits: Dus een pakket is eigenlijk nog niet ontvangen, of hij is op een depo geweest, of hij is onderweg geweest voor bezorging.
 151
00:11:31,080 --> 00:11:33,719
Frits: Dus daar zagen we al een soort van scenario's ontstaan.
153
00:11:33,720 --> 00:11:41,240
Frits: En tegelijkertijd, omdat we iedere keer naast die mensen zaten, toen zagen we zijn werk doen, ja, was het eigenlijk heel erg workflow-achtig.

152
00:11:41,240 --> 00:11:42,440
Frits: Dus het was niet.

153
00:11:42,519 --> 00:11:47,160
Frits: Je ging altijd van uit onderzoekshandeling A, B, C.

154
00:11:47,480 --> 00:11:51,400
Frits: Het kon best wel zijn dat je van A naar C ging, maar dat was een hele specifieke gevallen.

155
00:11:51,399 --> 00:11:56,600
Frits: Dus het was eigenlijk best wel een recht toe aan stap voor stap proces.

156
00:11:56,600 --> 00:12:00,200
Frits: En toen dachten waar zijn we dan eigenlijk mee bezig.

157
00:12:00,200 --> 00:12:07,399
Frits: Dus toen hebben we uiteindelijk gezegd, oké, dan maken we er een workflow van met gewoon een call naar een taalmodel.

158
00:12:08,519 --> 00:12:14,120
Frits: En toen kregen we uiteindelijk veel betere resultaten, veel meer grip, zeg maar op.

159
00:12:15,399 --> 00:12:19,000
Frits: En toen ging het uiteindelijk veel sneller vooruit.

160
00:12:19,319 --> 00:12:28,840
Frits: En of dat dan nogmaals, of dat dan komt, omdat je op pad wordt gestuurd, zeg maar, met ga agents bouwen, of dat je een experiment doet of dat je daar überhaupt snel mee.

161
00:12:28,920 --> 00:12:37,639
Joop: Maar dan had je ook niet, had je ook niet in het begin het idee dat er veel meer variabiliteit in die onderzoeksvragen zouden zitten.

162
00:12:37,879 --> 00:12:43,960
Joop: Of had je het als je iets langer had nagedacht wel kunnen zien dat het een workflow was.

163
00:12:43,960 --> 00:12:47,080
Frits: Nee, dat hadden we wel eerder misschien wel kunnen zien.

164
00:12:48,920 --> 00:12:55,399
Joop: Ik begon zonder enige begint terug zeker zeker.

165
00:12:57,639 --> 00:13:00,280
Frits: Dit is ook zeker niet erg dat dit gebeurd is hoor, helemaal niet.

166
00:13:00,519 --> 00:13:07,000
Frits: Ik denk dat dit eigenlijk een beetje bij hoort, zeg maar om echt te leren van hoe doe je dit.

167
00:13:09,559 --> 00:13:12,760
Frits: Dus ja, misschien hadden we dit zeg maar sneller kunnen doen.

168
00:13:13,559 --> 00:13:17,480
Frits: En tegelijkertijd, dit is uiteindelijk ook gewoon hoe het is gelopen.

169
00:13:19,079 --> 00:13:32,199
Joop: Maar het is denk ik wel een goede tip, dat je nadenkt van hebben we hier eigenlijk gewoon met een vaste workflow te maken, of heb je daadwerkelijk zeg maar, de variabiliteit en de flexibiliteit van een agent nodig.

170
00:13:32,200 --> 00:13:39,560
Frits: Ja, want wat er uiteindelijk nu gebeurde, was dat uiteindelijk die agents, dus dan heb je het echt over wat is een agent.

171
00:13:39,799 --> 00:13:46,040
Frits: Dus die agents ging eigenlijk iedere keer zelf bepalen van ja, dit is mijn doel, hoe kom ik daar.

172
00:13:46,039 --> 00:13:52,200
Frits: Terwijl wij eigenlijk wel wisten: hoe kom je tot dat doel, namelijk, je moet het in deze stappen doen.

173
00:13:52,200 --> 00:13:57,000
Frits: En even afhankelijk van de uitkomst van stap 1 ga je wel of niet stap 2 doen.

174
00:13:57,000 --> 00:13:59,960
Frits: Of je gaat door naar stap 3 en zo simpel was het.

175
00:13:59,960 --> 00:14:05,480
Frits: Dus dan moet je niet zo'n agent zeggen van ja, zoek zelf maar uit hoe je er komt, dan gaat het iedere keer opnieuw uitzoeken.

176
00:14:05,480 --> 00:14:09,400
Niels: Dus echt eerst afpellen van wat is het probleem, wat is het proces?

177
00:14:09,399 --> 00:14:12,920
Niels: Hoeveel variabiliteit heb je, is er een workflow te maken.

178
00:14:12,919 --> 00:14:14,840
Niels: Dan pas gaan richting een oplossing.

179
00:14:14,839 --> 00:14:17,000
Niels: Maar je had ook een tweede casus genoemd.

180
00:14:17,000 --> 00:14:19,480
Niels: Heb je dat dan gelijk daarin meegenomen?

181
00:14:20,120 --> 00:14:21,000
Frits: Ja, zeker.

182
00:14:21,000 --> 00:14:24,759
Frits: Dus toen zijn we echt wel anders van start gegaan.

183
00:14:25,240 --> 00:14:28,200
Frits: Misschien even kort uitleggen wat dat is.

184
00:14:30,120 --> 00:14:32,839
Frits: We hebben net die klachten gehad bij de klantenservice.

185
00:14:33,000 --> 00:14:37,080
Frits: Stel dat de zakelijke klantenservice er niet helemaal uitkomt.

186
00:14:37,079 --> 00:14:39,720
Frits: Dus die hebben die onderzoekshandelingen gedaan.

187
00:14:40,360 --> 00:14:46,439
Frits: Maar hebben nog niet echt een antwoord om te zeggen, nou daar is onze klant mee geholpen en uiteindelijk is ook de consument mee geholpen.

188
00:14:46,680 --> 00:14:51,000
Frits: Dan sturen ze dat naar onze depots toe, eigenlijk als een soort van back-office functie.

189
00:14:51,000 --> 00:14:59,919
Frits: En dan gaat ze proberen op het depo uiteindelijk toch te komen tot een goed antwoord, wat waar uiteindelijk zeg maar de klant en de consumenten wat dan heeft.

190
00:15:00,320 --> 00:15:05,000
Joop: Moet ik dat zien als ze een locatie waar fysiek die pakketten liggen?

191
00:15:05,079 --> 00:15:07,519
Frits: Ja, dus onze sorteercentra.

192
00:15:06,200 --> 00:15:11,439
Frits: Dus we hebben een 30 plus sorteercentra.

193
00:15:12,720 --> 00:15:15,040
Frits: En daar hebben ze een afdelingssupport.

194
00:15:15,039 --> 00:15:17,120
Frits: En daar sturen ze dus eigenlijk dat ticket naartoe.

195
00:15:17,120 --> 00:15:35,600
Frits: En dan gaat het die afdeling gaat daarmee aan de slag en kan je je me voorstellen dat dan ze bijvoorbeeld eventueel contact opnemen met de bezorger of met de bezorgpartner om te kijken van weet jij nog wat er met dat pakket gebeurd is, daar moet je dus wel weten welk depo je dan naartoe kan gaan, als basisstartpunt.

196
00:15:35,600 --> 00:15:36,560
Frits: Zeker, zeker, zeker.

197
00:15:36,559 --> 00:15:42,879
Frits: Maar ze kunnen natuurlijk zien, stel dat een pakket is afgeleverd, dan weet je natuurlijk vanaf welk tempo, etc.

198
00:15:46,240 --> 00:15:52,080
Frits: Dus die klachten op die depo's, dat is eigenlijk de volgende casus.

199
00:15:53,360 --> 00:15:54,879
Frits: Die is ook anders gestart.

200
00:15:54,879 --> 00:15:59,840
Frits: Dus ik sprak met onze directeur van de operatie.

201
00:15:59,840 --> 00:16:07,200
Frits: En ze hadden het eigenlijk over van welke dingen welke problemen heb je nog, waar zouden we eventueel naar kunnen kijken.

202
00:16:07,200 --> 00:16:09,760
Frits: En hij noemde uiteindelijk dit proces.

203
00:16:11,360 --> 00:16:15,039
Frits: En zei, nou, Frits, zou je niet daar eens naar willen kijken.

204
00:16:15,919 --> 00:16:22,000
Frits: Toen zijn we ook helemaal niet, zeg maar, vanuit techniek of iets zeg maar gaan nadenken.

205
00:16:22,480 --> 00:16:25,360
Frits: Het eerste wat we gedaan hebben, is, ik zeg nou, prima.

206
00:16:26,559 --> 00:16:28,960
Frits: Wie doet dit nu het allerbeste?

207
00:16:28,960 --> 00:16:31,840
Frits: Ik zeg, ik wil gewoon degene spreken die dit het al best doet.

208
00:16:32,159 --> 00:16:37,919
Frits: Dat was een mevrouw, ergens in het noorden van het land, dus ze moesten vroeg de auto in.

209
00:16:38,639 --> 00:16:42,399
Frits: Dat moet dan, als je nog vraag is, wat je dan krijgt.

210
00:16:43,039 --> 00:16:45,120
Frits: We zijn eerst met die mevrouw gaan praten.

211
00:16:47,120 --> 00:16:50,720
Frits: Vragen van wat doet ze eigenlijk waarom?

212
00:16:51,039 --> 00:16:53,440
Frits: Wat geeft haar werk betekenis?

213
00:16:54,080 --> 00:16:59,600
Frits: Wat vindt ze leuk aan het werk, niet leuk aan het werk, en vervolgens ook, wat doet ze dan precies.

214
00:17:00,639 --> 00:17:04,400
Joop: Neem aan ook aan dat je op zoek was waarom doet zij het zo goed.

215
00:17:07,680 --> 00:17:09,920
Frits: Zij haalde hele goede scores.

216
00:17:12,079 --> 00:17:16,878
Frits: Daar was ik eigenlijk niet zo geïnteresseerd in, want uiteindelijk die scores zeiden me toen nog helemaal niet zoveel.

217
00:17:18,720 --> 00:17:22,720
Frits: Een hele goede score wilde niet zeggen dat het ook daadwerkelijk iets oplevert.
220
00:17:22,960 --> 00:17:25,599
Frits: Dus daar was ik in die zin eigenlijk nog niet eens zo in geïnteresseerd.

218
00:17:25,599 --> 00:17:31,519
Frits: Maar ik dacht meer van, ik wil een beetje variëteit hebben in mensen.

219
00:17:31,680 --> 00:17:34,000
Frits: Dus ik begin bijvoorbeeld met iemand die het heel goed doet.

220
00:17:34,079 --> 00:17:40,079
Frits: Dan doen we iemand die gemiddeld en ergens waar het eigenlijk niet zo goed loopt.

221
00:17:40,480 --> 00:17:42,719
Frits: Dan heb ik dan kan ik overigens.

222
00:17:42,880 --> 00:17:46,799
Frits: De scenario's een beetje.

223
00:17:48,319 --> 00:17:51,680
Frits: Dus uiteindelijk vroeg die mevrouw van.

224
00:17:52,880 --> 00:18:03,519
Frits: Wij waren daar in het loop van de ochtend van gewoon je vroeg het vast alweer een aantal klachten gedaan, vertel me de laatste twee, drie klachten, waar gingen die over, wat heb je precies gedaan.

225
00:18:03,839 --> 00:18:06,480
Frits: Dat ging ze gewoon zo doornemen.

226
00:18:07,039 --> 00:18:09,759
Frits: En als je dan gewoon goed luistert.

227
00:18:10,160 --> 00:18:15,359
Frits: Dan zie je vanzelf ontstaan van waarom loopt daar zo als het loopt.

228
00:18:15,359 --> 00:18:20,079
Frits: Want deze mevrouw begon te vertellen, ja, hier moet ik in dit systeem opzoeken, dat systeem, dat systeem.

229
00:18:20,079 --> 00:18:30,079
Frits: En dan geloof ik een kwartiertje verder was het aan het vertellen, ik was al de draad volledig kwijt, maar geen van mijn van de mensen uit mijn team, die was het rustig aan het meeschrijven, ik keek hem zo aan.

230
00:18:30,079 --> 00:18:32,079
Niels: Dus hij wist eigenlijk al welke vraag aan stellen.

231
00:18:32,159 --> 00:18:34,799
Niels: En dan zegt Frits, ik tel al twaalf systeem.

232
00:18:36,079 --> 00:18:38,640
Niels: Ik was even nieuwsgierig, maar het breekt goed luisteren.

233
00:18:38,640 --> 00:18:40,000
Niels: Wat betekent voor jou goed luisteren?

234
00:18:40,000 --> 00:18:41,519
Niels: Waar moet ik dan aan denken?

235
00:18:43,519 --> 00:18:46,079
Frits: Ja, dus ik denk met een.

236
00:18:47,360 --> 00:18:52,160
Frits: Wat ik wel vaak probeer te doen, is echt starten bij de gebruiker.

237
00:18:52,400 --> 00:18:59,279
Frits: Dus als je een goed product wil ontwikkelen, wat mij betreft, begin je bij de gebruiker in dit geval was dat deze mevrouw.

238
00:18:59,920 --> 00:19:01,599
Frits: Er komen een aantal dingen bij kijken.

239
00:19:02,639 --> 00:19:04,959
Frits: Eerst een beetje op gemak stellen.

240
00:19:06,960 --> 00:19:14,639
Frits: Voor mensen die zo'n sorteercentrum werken, die denken, hey, ik heb drie mensen van het hoofdkantoor komen.

241
00:19:14,960 --> 00:19:18,399
Frits: Die komen misschien wel kijken of ik het goed of ik het wel echt goed doe.

242
00:19:18,400 --> 00:19:23,839
Niels: Dus een van de eerste dingen die ik altijd zeg, ik heb totaal geen verstand van het werk wat je doet, kom van jou leren.

243
00:19:24,240 --> 00:19:26,319
Frits: Ja, ik heb er ook geen oordeel over.

244
00:19:26,639 --> 00:19:29,439
Frits: Ik weet niet eens wat goed of fout is.

245
00:19:29,599 --> 00:19:30,640
Frits: Dus geen zorgen.

246
00:19:30,639 --> 00:19:33,119
Frits: Ik denk dat het zeg maar belangrijk.

247
00:19:33,440 --> 00:19:41,679
Frits: En vervolgens kort een vraag stellen en vooral die mensen laten praten, aan de hand van echte voorbeelden.

248
00:19:41,680 --> 00:19:48,799
Frits: Dus daarom zei ik net ook al van, je hebt vast vanochtend al een paar cases behandeld.

249
00:19:49,119 --> 00:19:50,879
Frits: Kan je me dat uitleggen?

250
00:19:50,880 --> 00:19:58,759
Frits: Dat is denk ik een hele goede vraag van niet van wat doe je, want dan is ook maar de vraag, komt dan alles naar boven.

251
00:19:58,920 --> 00:20:04,680
Joop: Dus als je het echt aan echte voorbeelden koppelt, ja, dan kunnen ze ook bijna naspelen.

252
00:20:04,680 --> 00:20:08,919
Frits: Ja, dan kan je kan ze ook vertellen van ja, dat ging hier over, toen heb ik dit moeten doen.

253
00:20:09,000 --> 00:20:23,960
Frits: En dan neemt je eigenlijk ook mee in wat hebben we precies gedaan en waar zat dan precies, waar zat precies de pijn of wat, ik moest hier moet je dit knippen, dan plakken en dan moest ik dit daar op zoeken, maar dat kon het niet goed vinden, moest ik toch naar dat systeem.

254
00:20:25,000 --> 00:20:27,240
Frits: Dan krijg je dat soort type verhalen.

255
00:20:27,559 --> 00:20:30,759
Frits: En dat is eigenlijk gewoon een kwestie van ja, goed luisteren.

256
00:20:30,759 --> 00:20:35,000
Frits: En dat is dan weer het voordeel van tegenwoordig met AI.

257
00:20:35,000 --> 00:20:37,639
Frits: Dus je laat het ook gewoon opnemen.

258
00:20:38,920 --> 00:20:43,639
Frits: En die kan je dan ook weer helpen met dat goed verwerken en daar weer de juiste inzicht uithalen.

259
00:20:43,880 --> 00:20:44,839
Joop: Zeker.

260
00:20:45,720 --> 00:20:47,240
Niels: Maar dat betekent ook.

261
00:20:47,640 --> 00:20:50,359
Niels: Je had hier dan het voordeel dat je ook niet wisten hoe het beoordeeld was.

262
00:20:50,359 --> 00:20:53,240
Niels: Dus ik denk dat het ook nut heeft dat je niet de details zelf weet.

263
00:20:53,240 --> 00:20:55,639
Niels: Want anders sta je een beetje gesloten poot zo in.

264
00:20:55,640 --> 00:20:57,160
Niels: Dus misschien een open mindset.

265
00:20:57,160 --> 00:20:58,519
Frits: Ja, zeker.

266
00:20:59,319 --> 00:21:00,359
Frits: Dat helpt heel erg.

267
00:21:00,359 --> 00:21:05,960
Frits: En als je dus wel heel erg wat van weet, dan is dat de kunst om dat dan te bewaren.

268
00:21:07,559 --> 00:21:10,519
Niels: Maar dan hadden had je dus inderdaad, dat was wat je gedaan had.

269
00:21:10,599 --> 00:21:12,279
Niels: Wat waren de volgende stap?

270
00:21:15,240 --> 00:21:20,200
Frits: Dus ik heb uiteindelijk dus op drie locaties hebben we zeg maar dit gedaan.

271
00:21:20,839 --> 00:21:25,559
Frits: En toen kreeg je ze uiteindelijk een beetje een beeld van wat is er eigenlijk aan de hand.

272
00:21:26,519 --> 00:21:32,120
Frits: En dat was ze kregen nog best wel veel cases.

273
00:21:32,119 --> 00:21:38,679
Frits: Dus dat was een redelijk van een hoge werkdruk, maar veel te doen.

274
00:21:40,279 --> 00:21:46,519
Frits: En wat ik net zei, dus uiteindelijk moesten ze in 10, 12 systemen moesten ze alles opzoeken.

275
00:21:48,440 --> 00:21:57,160
Frits: En dat was eigenlijk ook niet echt een hele fijne overdracht tussen de klantenservice en onze mensen op de sorteercentra.

276
00:21:57,720 --> 00:22:08,919
Frits: Een deel van het werk wat ze op de klantenservice gedaan hadden, dat deden ze opnieuw in best een aantal gevallen, omdat het gewoon niet duidelijk was of niet goed was vastgelegd.

277
00:22:09,880 --> 00:22:15,079
Frits: Dus toen hebben we gekeken van oké, als dat dan het probleem is, hoe kunnen we dat dan makkelijk maken?

278
00:22:15,400 --> 00:22:23,000
Frits: En een van de eerste dingen die we dachten was van, je wil niet in tien tot twaalf systemen werken zoeken.

279
00:22:23,960 --> 00:22:31,799
Frits: Wat kunnen we doen om dat ze vanuit één omgeving kunnen werken en daar eigenlijk heel hun werk zeg maar kunnen doen.

280
00:22:31,799 --> 00:22:36,920
Frits: En hoe kunnen we bijvoorbeeld zorgen dat het ook cognitief niet heel erg belastend is.

281
00:22:37,079 --> 00:22:45,320
Frits: Want bijvoorbeeld wat ze nu moesten doen, is ze sturen bijvoorbeeld een bericht naar een van onze bezorgpartners of een bezorger.

282
00:22:45,319 --> 00:22:49,720
Frits: En dan hebben ze de afspraak dat die moet reageren binnen zoveel tijd.

283
00:22:50,359 --> 00:22:55,160
Frits: Maar dat reageren binnen zoveel tijd, dat moest ze zelf in de gaten houden.
287
00:22:55,400 --> 00:23:04,360
Frits: Dan hadden ze weer in een van die applicaties stond dan van hoe laat ze dan een bericht hadden verzonden en dan konden ze zelf bijhouden, oh ja, gisteren heb ik hem zo dit verstuurd.

284
00:23:04,360 --> 00:23:11,399
Joop: Dan moet ik vandaag voor die tijd moet ik zeker belasting hebben, en anders moet ik weer een berichtje sturen.

285
00:23:11,559 --> 00:23:18,759
Frits: En dus als je dus in al die systemen alles moet opzoeken, je moet dit bijhouden, dacht van ja, dat kan zeg maar allemaal beter.

286
00:23:18,759 --> 00:23:23,879
Frits: En hebben we gekeken van oké, hoe zouden we dat dus uiteindelijk beter kunnen maken.

287
00:23:25,319 --> 00:23:32,039
Frits: En vervolgens hebben we dan gekeken, oké, met welke techniek kan dat dan uiteindelijk het beste.

288
00:23:32,519 --> 00:23:35,800
Joop: Dat is eigenlijk onze aanpak geweest, en waar kwamen je op uit?

289
00:23:36,680 --> 00:23:44,039
Frits: Ja, wat we gemaakt hebben, is eigenlijk een nieuwe applicatie.

290
00:23:44,920 --> 00:23:54,839
Frits: Waar we eigenlijk een groot deel van het werk, zeg maar, dus eigenlijk hun werk opgedeeld in taken, daar zal ik zo nog even wat over vertellen.

291
00:23:55,079 --> 00:24:03,319
Frits: En gekeken van oké, welke van die taken kunnen we zoveel mogelijk geautomatiseerd laten uitvoeren, geautomatiseerd kan deels zijn, zeg maar met AI.

292
00:24:04,519 --> 00:24:11,880
Frits: En die transitie, zeg maar van casegerichte werken, noemde ik het, zeg maar, naar een taakgericht werken.

293
00:24:12,200 --> 00:24:13,319
Frits: Dat viel ook nog niet mee.

294
00:24:13,319 --> 00:24:14,920
Frits: Want we hadden dat zeg maar bedacht.

295
00:24:14,920 --> 00:24:18,119
Frits: We dachten van ja, dat is denk ik heel erg goede oplossing voor.

296
00:24:18,279 --> 00:24:19,639
Niels: Waarom dacht je dat een goede oploop?

297
00:24:19,720 --> 00:24:25,160
Frits: Ja, dus wij dachten, dan stel dat jij in zo'n case moet jij misschien zeggen twintig taken doen.

298
00:24:25,159 --> 00:24:29,960
Frits: Dus wij dachten, nou ja, als jij als wij van die 20 taken er 15 geautomatiseerd kunnen doen.

299
00:24:29,960 --> 00:24:32,039
Frits: Dus dat kan zijn een reminder sturen.

300
00:24:32,039 --> 00:24:34,680
Frits: Het kan zijn een e-mail opstellen.

301
00:24:35,240 --> 00:24:41,519
Frits: Het kan zijn een e-mail die binnenkomt met een antwoord beoordelen, of die eigenlijk wel de vraag beantwoorden.

302
00:24:41,599 --> 00:24:44,640
Frits: Al dat soort achtige taken moet je kijken.

303
00:24:44,960 --> 00:24:45,759
Frits: Kleiner gemaakt.

304
00:24:46,640 --> 00:24:49,200
Frits: Je zei net al, je moet weten op welk depo het komt.

305
00:24:49,200 --> 00:24:53,120
Frits: Dus je kreeg misschien soms ook wel een vraag die eigenlijk bedoeld was voor een ander depo.

306
00:24:53,599 --> 00:24:57,200
Frits: Dat kan bijvoorbeeld kan je best wel herkennen aan de voorkant.

307
00:24:57,440 --> 00:25:06,720
Frits: Als je tekst herkent en dat je kijkt van waar is nou waar heeft de bezorging plaatsgevonden, op welk depo zit ik nu dit niet eigenlijk naar een ander depo moeten.

308
00:25:06,720 --> 00:25:08,079
Frits: En dan kan je het routeren.

309
00:25:09,279 --> 00:25:11,519
Frits: Zo kan je eigenlijk dat helemaal afpellen.

310
00:25:12,319 --> 00:25:23,119
Frits: Dus wat we gedaan hadden, was nou dan maken we een nieuwe omgeving en in plaats van dat mensen een hele case krijgen, krijg je een soort van inbox met verschillende taken.

311
00:25:24,319 --> 00:25:27,680
Frits: Ik doe dit met een team met van drie, dus nog met twee engineers.

312
00:25:27,680 --> 00:25:38,559
Frits: Dus wij gingen met z'n drie weer de auto in naar een van onze sorteercentra en vol vertrouwen gingen wij met onze klikbare mock-up gingen wij op pad.

313
00:25:39,759 --> 00:25:45,759
Frits: Wederom was dit trouwens een vrouw van de sportafdeling, maar een ander sorteercentrum.

314
00:25:46,559 --> 00:25:49,119
Frits: We hadden nog iemand meegenomen.

315
00:25:49,360 --> 00:25:52,560
Frits: Die echt ook zeker research doet.

316
00:25:52,559 --> 00:25:55,759
Frits: Dus die deed voor ons, zeg maar echt het interview, zeg maar.

317
00:25:55,920 --> 00:25:57,839
Frits: Dat was ook nog wel een skill apart.

318
00:25:57,839 --> 00:25:59,680
Frits: Ze had er iemand voor ingehuurd.

319
00:26:00,319 --> 00:26:08,240
Frits: Zij ging met die mevrouw zitten en korte introductie en vervolgens ging die mevrouw kijken naar onze app.

320
00:26:08,720 --> 00:26:09,759
Niels: Spannen moment lijkt me.

321
00:26:10,000 --> 00:26:19,040
Frits: En zij zei eigenlijk, ze was een soort van heel erg beleefd van tot ze het eigenlijk wel mooi vond, maar eigenlijk zag je aan de niks.

322
00:26:19,200 --> 00:26:21,040
Frits: Ik snap, ik snap het gewoon niet.

323
00:26:22,960 --> 00:26:24,319
Frits: Het was helemaal niet van.

324
00:26:24,639 --> 00:26:30,160
Frits: Dus het zag er super strak uit, zeker in vergelijking allemaal van wat ze nu hebben, maar zij begreep het eigenlijk niet.

325
00:26:30,400 --> 00:26:35,600
Frits: En achteraf, toen we in de auto terugzaten, eigenlijk is het ook logisch.

326
00:26:35,599 --> 00:26:40,240
Frits: W die mensen komen normaal gesproken bij zo'n case binnen met bij gewoon stap 1.

327
00:26:40,480 --> 00:26:42,799
Frits: En nu open je een taak.

328
00:26:42,799 --> 00:26:45,119
Frits: En dan zit je ineens op stap 5.

329
00:26:45,360 --> 00:26:47,199
Frits: En die mevrouw had eigenlijk geen idee.

330
00:26:47,200 --> 00:26:49,919
Frits: Ja, maar stap 1 tot en met 4 dan.

331
00:26:51,200 --> 00:26:52,720
Frits: Wat is daarmee gebeurd?

332
00:26:53,039 --> 00:26:55,919
Frits: En wat als ik dit doe, hoe gaat dit verder.

333
00:26:58,639 --> 00:27:05,919
Frits: Dat hoort natuurlijk bij, daarom doe je dit soort dingen ook, probeer echt goed te ontdekken van wat heeft nou zo'n gebruiker nodig.

334
00:27:06,799 --> 00:27:11,120
Frits: Dus dat was een belangrijke les, zeg maar, uit onze eerste klikbare mock-up.

335
00:27:11,440 --> 00:27:17,680
Frits: Niet dat we de helemaal de verkeerde route waren, want uiteindelijk toen haar wat meer gingen vertellen.

336
00:27:18,960 --> 00:27:20,720
Frits: Toen begreep ze het wel.

337
00:27:20,720 --> 00:27:24,879
Frits: Dus uiteindelijk, het was niet dat die schermen slecht waren, maar gewoon dat hele concept.

338
00:27:24,880 --> 00:27:26,640
Frits: Dat was voor haar gewoon een soort van.

339
00:27:28,880 --> 00:27:30,480
Joop: Het werd eigenlijk een black box.

340
00:27:30,880 --> 00:27:34,240
Frits: En ik denk dat dat is ook denk ik een van de dingen.

341
00:27:34,559 --> 00:27:36,879
Frits: waar ik zelf ook wel echt probeerde op te letten.

342
00:27:38,160 --> 00:27:52,639
Frits: Als je dus ook dingen van mensen over laten nemen, dat vind ik ook nog een belangrijke vraag van hoe zorg je nou dat je mensen betrokken houdt dat ze nog echt begrijpen van wat gebeurt er, wat is mijn rol in het proces, hoe hou ik overzicht.

343
00:27:53,440 --> 00:27:56,080
Frits: En op die manier hebben we er nog een keer naar gekeken.

344
00:27:56,400 --> 00:28:01,040
Frits: En toen hebben we het uiteindelijk gezegd, nou, wat nou als we het gewoon heel expliciet maken.

345
00:28:01,039 --> 00:28:09,359
Frits: Dus ik heb het altijd heel vaak over als we het over AI hebben, dus ik wil het eigenlijk niet over agents, want dan wordt het altijd van wat is nou een agent, dan is het een workflow.

346
00:28:09,839 --> 00:28:12,000
Frits: Voor veel mensen maakt dat toch eigenlijk niet zo uit.

347
00:28:12,159 --> 00:28:14,559
Frits: Ik zeg altijd maar een digitale collega.

348
00:28:14,559 --> 00:28:19,279
Frits: Dus ik dacht, nou, als we nou deze digitale collega, als we dat nou heel expliciet maken.
353
00:28:19,599 --> 00:28:24,319
Frits: En we geven het ook gewoon een naam, sterker nog, we laten die mensen zelf kiezen.
 349
00:28:26,799 --> 00:28:29,359
Frits: Is dat één naam voor allemaal of is iedereen?
 350
00:28:30,079 --> 00:28:34,160
Frits: Uiteindelijk hebben we besloten voor de test om nog gewoon wij even de naam kiezen.
 351
00:28:34,319 --> 00:28:41,519
Frits: Ik had eerst het idee van nou kunnen ze per depo een eigen naam, ik weet eigenlijk nog niet zo goed of dat een goed idee is, maar dat kunnen we allemaal testen.
 352
00:28:41,840 --> 00:28:45,759
Frits: Maar nu we waren op pad gegaan en we hadden Sophie genoemd.
 353
00:28:47,039 --> 00:28:54,559
Frits: En we hadden dan uiteindelijk bij zo'n taak gezet aan het begin van dit is er aan de hand.
 354
00:28:55,119 --> 00:29:00,879
Frits: Sophie heeft al stap 1 tot en met 3 uitgevoerd, heeft dit geconstateerd.
 355
00:29:00,880 --> 00:29:06,480
Frits: Hier twijfelt ze het nog over en hier heeft ze je hulp voor nodig, zou jij dit en dit willen doen.
 356
00:29:06,799 --> 00:29:17,200
Frits: En bovendien, als je dat dit gedaan hebt, dan was het wel, dan gaat Sophie vervolgens de vervolgstap doen.
 357
00:29:17,920 --> 00:29:20,159
Frits: En toen draaiden je het eigenlijk.
 358
00:29:20,159 --> 00:29:22,679
Frits: Ja, ik zou bijna zeggen 180 graden.
 359
00:29:22,000 --> 00:29:26,359
Frits: Want ja, natuurlijk die inbox snapten ze nog steeds niks van.
 360
00:29:26,440 --> 00:29:30,440
Frits: Want dat stonden allemaal taken met titels waarvan gedachten, wat is dit?
 361
00:29:30,440 --> 00:29:31,800
Frits: Want normaal heb ik een case.
 362
00:29:31,799 --> 00:29:40,519
Frits: Maar zodra ze die taak opende, was het van dit staat er, dit is er al gebeurd.
 363
00:29:40,519 --> 00:29:42,759
Frits: En op een gegeven moment, oh, dit is handig.
 364
00:29:43,720 --> 00:29:44,759
Frits: En dan gaat het dit doen.
 365
00:29:44,759 --> 00:29:48,519
Frits: En toen is het bij twee op een dag.
 366
00:29:50,119 --> 00:29:54,039
Frits: De laatste was in Rotterdam, ik woon in Rotterdam thuiswedstrijdje.
 367
00:29:54,359 --> 00:29:56,439
Frits: Toen zeiden dus op een gegeven moment.
 368
00:29:56,680 --> 00:30:03,480
Frits: We hadden met twee van de sportmedewerkers, ze op een gegeven moment de een tegen die ander.
 369
00:30:03,799 --> 00:30:05,720
Frits: Zegt hij toch handig, hè?
 370
00:30:05,720 --> 00:30:07,720
Frits: Ik hoef niet direct te trouwen met die Sophie.
 371
00:30:08,680 --> 00:30:09,960
Niels: Homig is je wel.
 372
00:30:10,519 --> 00:30:12,200
Frits: En dan weet je wel goed.
 373
00:30:12,920 --> 00:30:18,279
Frits: Dit werkt dat vind ik ook het mooie, zeg maar.
 374
00:30:18,279 --> 00:30:21,000
Frits: Het is gewoon ook proberen ontdekken.
 375
00:30:21,559 --> 00:30:24,279
Frits: Kijken wat werkt dan voor die gebruiker.
 376
00:30:24,680 --> 00:30:37,000
Frits: En pas toen we dit allemaal hadden, echt die klikbare mock-up helemaal bedacht hadden, van dit werkt, toen hebben we uiteindelijk pas gekeken, oké, en hoe gaan we dit dan maken en wat laten we dan technologie?
 377
00:30:37,000 --> 00:30:39,720
Frits: Ja, welke technologie, hoe lossen we dat op.
 378
00:30:41,000 --> 00:30:52,599
Joop: Wat stoppen we in een workflow of wat heel mooi, heel veel aandacht en tijd besteed om ervoor te zorgen dat je straks het juiste bouwt.
 379
00:30:52,920 --> 00:30:55,559
Frits: Dit ging echt over ontdekken wat te bouwen.
 380
00:30:56,200 --> 00:30:57,960
Frits: En daar helpt AI ook bij.
 381
00:30:57,960 --> 00:31:01,079
Frits: Want uiteindelijk zo'n mock-up maken.
 382
00:31:01,640 --> 00:31:03,399
Frits: Dat hebben we ook met AI gedaan.
 383
00:31:04,360 --> 00:31:06,600
Frits: En dat gaat dan heel veel sneller.
 384
00:31:06,920 --> 00:31:09,079
Frits: En bijvoorbeeld.
 385
00:31:09,720 --> 00:31:15,960
Frits: De eerste keer toen we met zo'n lijst met taken gingen, ja, wat moeten we nou?
 386
00:31:16,279 --> 00:31:31,079
Frits: Moeten we dan een scherm met tegeltjes, moeten we meer een soort van Outlook stijl, of moeten we en vroeger, daar ging je misschien met schetjes of het was best weken bezig om dan eens zo'n UI helemaal uit te werken.
 387
00:31:31,400 --> 00:31:32,759
Frits: En dan kon je dat gaan testen.
 388
00:31:32,759 --> 00:31:35,480
Frits: En nu zei je ja, nou goed, we maken ze gewoon alle drie.
 389
00:31:35,720 --> 00:31:38,599
Frits: En ja, we laten ze gewoon alle drie zien.
 390
00:31:38,759 --> 00:31:40,759
Frits: Er is nood ze aan drie verschillende mensen.
 391
00:31:40,759 --> 00:31:43,960
Frits: Dus je kan ook wel veel beter en veel sneller iets maken.
 392
00:31:44,119 --> 00:31:46,359
Frits: En het ziet er ook echt uit.
 393
00:31:47,720 --> 00:31:53,319
Joop: Want niet iedereen kan een wireframe doorheen kijken en dan begrijpen wat er dan zou komen te staan.
 394
00:31:53,640 --> 00:31:59,480
Frits: Dus je hebt echt veel meer bijna zeggen, real life-achtige ervaringen.
 395
00:31:59,480 --> 00:32:03,799
Frits: En ik heb ook het gevoel dat dat dus ook betere feedback oplevert.
 396
00:32:04,039 --> 00:32:13,000
Joop: En omdat je dat zo snel zo snel kon, gaf dat lucht om ook meer tijd te besteden aan die voorbereiding.
 397
00:32:13,000 --> 00:32:15,880
Joop: Of zou dat in jouw geval niet hebben uitgemaakt?
 398
00:32:15,880 --> 00:32:22,439
Frits: Nee, dus ik denk volgens mij verandert er heel veel, zeg maar door de techniek, maar dit niet.
 399
00:32:23,559 --> 00:32:26,920
Joop: Je zou sowieso naar het noorden van het land zijn gereden.
 400
00:32:26,920 --> 00:32:29,240
Frits: Ja, dus dit moet je altijd doen.
 401
00:32:30,279 --> 00:32:31,160
Joop: Lijkt me ook.
 402
00:32:31,400 --> 00:32:34,199
Frits: En hier moet je gewoon altijd tijd insteken aan besteden.
 403
00:32:34,200 --> 00:32:40,200
Frits: En toevallig gaat het dan nu met de huidige stand der techniek sommige dingen sneller.
 404
00:32:41,799 --> 00:32:43,639
Frits: Maar je moet het nog steeds doen.
 405
00:32:43,640 --> 00:32:45,879
Frits: Er is ook niet iets wat het voor jou gaat vervangen.
 406
00:32:46,440 --> 00:32:49,399
Frits: Je kan niet achter achter je bureau dit bedenken.
 407
00:32:49,639 --> 00:32:51,000
Frits: Hier kom je alleen achter in het veld.
 408
00:32:51,000 --> 00:32:53,080
Niels: Ja, maar je krijgt meer tijd eigenlijk hiervoor.
 409
00:32:53,079 --> 00:32:57,239
Niels: Omdat je weet dat de natraject het juiste gebouwd wordt, je hebt de validatie al meer.
 410
00:32:57,240 --> 00:33:01,879
Niels: Dus er zit meer tijd in de validatie om de creatie tussendoor sneller gaat.
 411
00:33:01,880 --> 00:33:05,000
Frits: Ja, dus dat denk ik wel.
 412
00:33:05,160 --> 00:33:11,960
Frits: Dus uiteindelijk kijk, ik weet natuurlijk ook niet, ik heb geen glazen bol, niemand heeft altijd waar het allemaal naartoe gaat.
 413
00:33:11,960 --> 00:33:15,559
Frits: Dus wij proberen ook natuurlijk met AI software te genereren.
 414
00:33:17,159 --> 00:33:20,599
Frits: Dat gaat ook langzaam zeg maar beter.
 415
00:33:20,759 --> 00:33:23,160
Frits: Maar hoe ver we komen ook geen idee.
 416
00:33:23,159 --> 00:33:34,759
Frits: Maar ik geloof wel heel erg dat uiteindelijk dat er wel een verschuiving gaat plaatsvinden van het bouwen naar het ontdekken wat te bouwen.
 417
00:33:34,759 --> 00:33:42,599
Frits: Omdat het bouwen zal uiteindelijk wel minder tijd kosten en hoeveel minder I don't know visual.
 418
00:33:43,480 --> 00:33:48,039
Frits: Maar dat andere, daar gaat dus in verhouding dan meer tijd naartoe.
 419
00:33:48,599 --> 00:33:51,080
Frits: Maar daar zou nu ook al meer tijd naartoe moeten.
 420
00:33:53,799 --> 00:33:57,559
Niels: Je zit in de praktijk zie je natuurlijk soms dat we te snel willen.
 421
00:33:57,799 --> 00:34:01,640
Niels: Omdat het probleem er is en er liggen nog twintig problemen op de stapel, dus we willen we sneller.
 422
00:34:01,639 --> 00:34:06,519
Frits: Ja, en we denken al heel snel van, oh ja, maar dit is gewoon een goede oplossing.
 423
00:34:06,680 --> 00:34:10,319
Frits: Dus wij dachten ook, oh dat taakgericht werken, dat snapt iedereen.
429
00:34:06,920 --> 00:34:12,080
Frits: En het was ook geen slechte oplossing.

424
00:34:12,239 --> 00:34:16,639
Frits: Alleen de manier waarop het brachten, begrepen door de gebruiker, dan heb je er niet zoveel aan.

425
00:34:16,719 --> 00:34:18,000
Joop: En die heeft altijd gelijk.

426
00:34:18,960 --> 00:34:20,799
Joop: Toch nog even terug.

427
00:34:21,518 --> 00:34:25,599
Joop: Toen ging je ging je het maken, dus dan moest je technologie gaan kiezen.

428
00:34:26,239 --> 00:34:28,480
Joop: Waar ben je op uitgekomen?

429
00:34:31,039 --> 00:34:36,319
Joop: Ja, dus over wat we precies gebruiken aan technologieën, daar wil ik een beetje van weg blijven.

430
00:34:38,400 --> 00:34:39,679
Joop: We zijn natuurlijk over die agents.

431
00:34:41,440 --> 00:34:54,639
Frits: Dus wat we gewoon gekeken hebben, is heel erg van welk van die taken zouden we eigenlijk willen automatiseren en wat zouden we eventueel door AI willen laten doen.

432
00:34:56,159 --> 00:35:04,319
Frits: En met name ook gekeken van hoe zouden we dan uiteindelijk ook de samenwerking, zeg maar, tussen die medewerker met die AI voor ons zien.

433
00:35:05,119 --> 00:35:08,400
Frits: Wat ik net al een beetje zei, dat uitschrijven.

434
00:35:09,519 --> 00:35:14,159
Frits: Maar ook bijvoorbeeld altijd over de human in de loop.

435
00:35:14,159 --> 00:35:16,480
Frits: Ja, ik word daar zelf altijd een beetje kriebelig van.

436
00:35:17,119 --> 00:35:19,440
Frits: Wie wilde nou human in de loop zijn?

437
00:35:19,920 --> 00:35:23,599
Frits: Ik zie altijd als zo'n hamster is of een rat.

438
00:35:24,880 --> 00:35:29,200
Joop: Of dat je als een voetballer, zo dat achter op je rug hebt staan, human in de loop.

439
00:35:30,880 --> 00:35:34,719
Frits: Dus meer van hoe hou je dus mensen betrokken bij je werk.

440
00:35:36,239 --> 00:35:38,479
Frits: Er moet wel bijvoorbeeld een controle plaatsvinden.

441
00:35:38,480 --> 00:35:42,719
Frits: Dus uiteindelijk een van de dingen die we laten doen, is gewoon mailtjes schrijven.

442
00:35:42,880 --> 00:35:48,719
Frits: Dus mailtjes er komen natuurlijk gewoon zeggen ongestructureerde data komt binnen, namelijk gewoon een vraag in een mail.

443
00:35:49,199 --> 00:35:51,039
Frits: Dus iedere keer net wat anders.

444
00:35:51,599 --> 00:35:59,679
Frits: En dan moet een mailtje gestuurd worden naar een bezorger om navraag te doen of weer terug naar die klant.

445
00:35:59,920 --> 00:36:04,879
Frits: Maar je wil het eigenlijk wel dat die mailtjes uiteindelijk tot die tekst goed blijft.

446
00:36:05,519 --> 00:36:07,519
Frits: Dat die AI blijft doen wat hij moet doen.

447
00:36:07,519 --> 00:36:11,200
Frits: Dus dan moet uiteindelijk af en toe ook iets een controle op plaatsvinden.

448
00:36:13,119 --> 00:36:23,280
Frits: Dus wat we doen, is gewoon af en toe geven we dan gewoon een controle taak, zeggen we gewoon van dit bericht is opgesteld door Sofie.

449
00:36:25,519 --> 00:36:27,440
Frits: Dit gaat naar de klant.

450
00:36:28,960 --> 00:36:35,679
Frits: Let hier en hier op, wil je even checken of dit goed genoeg is en dan kunnen ze zelf nog dingetjes wijzigen, et cetera.

451
00:36:35,679 --> 00:36:36,960
Frits: En dan staat er ook onder nou.

452
00:36:37,360 --> 00:36:43,039
Frits: Als jij drukt op taak afsluiten, dan stuurt Sofie het naar de klant of naar de bezorger.

453
00:36:46,559 --> 00:36:51,360
Frits: En dat soort dingen, dat is misschien heel simpel, maar dat helpt al enorm.

454
00:36:52,559 --> 00:36:58,559
Frits: Ik zat op een gegeven moment naast deze mensen ook op een van die sorteercentrum, ja, als die een mailtje gaan tikken.

455
00:36:58,559 --> 00:37:04,400
Frits: Ja, dat gaat, ik ben trouwens, ik kan ook niet blind typen, maar deze mensen konden helemaal niet blind typen.

456
00:37:04,400 --> 00:37:08,319
Frits: Dat ging met twee vingers, waar zat ook een weer de D daar.

457
00:37:08,320 --> 00:37:10,880
Frits: Dan kan je voorstellen dat dat kost gewoon heel veel tijd.

458
00:37:11,599 --> 00:37:14,880
Frits: En dat is ook niet waar hun toegevoegd waar je het probleem oplossen.

459
00:37:15,519 --> 00:37:16,239
Frits: Totaal niet.

460
00:37:16,239 --> 00:37:20,080
Frits: Dus die zijn al, die waren daar ook bijvoorbeeld super blij mee.

461
00:37:22,480 --> 00:37:25,759
Frits: Het scheelt niet alleen tijd, maar de kwaliteit wordt er uiteindelijk ook beter van.

462
00:37:25,760 --> 00:37:35,280
Frits: Want uiteindelijk als zij een mailtje sturen, als je niet zo, als je niet zo heel snel typt, dan worden de berichten natuurlijk ook altijd korter.

463
00:37:35,920 --> 00:37:46,240
Frits: Ik wil niet zeggen dat elke mail die langer is, meteen beter is, maar als het heel kort, dan heb je ook kans dat het licht cryptisch is.

464
00:37:47,199 --> 00:37:49,599
Frits: En soms helpt gewoon een stukje context.

465
00:37:52,079 --> 00:37:53,519
Frits: Dat soort dingen hebben we gedaan.

466
00:37:53,679 --> 00:37:55,519
Joop: Maar dan ben je nog steeds human in the loop.

467
00:37:56,159 --> 00:37:57,519
Frits: Ja, maar op een andere manier.

468
00:37:58,159 --> 00:38:03,840
Joop: En was het dan dat op die manier zeg maar ieder e-mailtje wordt gekeken of is waar het steekproefjes wijze?

469
00:38:05,119 --> 00:38:08,000
Joop: En dat vind ik dan ook wel wat anders dan human in de loop.

470
00:38:08,559 --> 00:38:11,599
Frits: Ja, ik heb het heel vaak over.

471
00:38:12,079 --> 00:38:14,000
Frits: Ik probeer de dingen gewoon plat te slaan.

472
00:38:15,119 --> 00:38:18,240
Frits: We hebben groen oranje rood.

473
00:38:20,720 --> 00:38:25,359
Frits: Groen kan zijn het systeem.

474
00:38:25,360 --> 00:38:28,480
Frits: Het doet dit autonoom met controle achteraf.

475
00:38:28,880 --> 00:38:35,440
Frits: Oranje is het systeem doet het met nog een laatste check vooraf.

476
00:38:35,440 --> 00:38:40,359
Frits: Of rood is het systeem bereidt iets voor en stuurt het door naar een mens.

477
00:38:41,079 --> 00:38:42,240
Frits: Zo zou het kunnen zijn.

478
00:38:42,239 --> 00:38:48,239
Frits: Dus als je dat soort soort van concepten werkt, dan kan je best wel heel graag heel vaak heel goed met mensen over praten.

479
00:38:48,840 --> 00:38:50,319
Frits: Ja, wat wil je eigenlijk?

480
00:38:50,320 --> 00:38:52,000
Frits: Welke dingen mogen dan groen zijn?

481
00:38:52,280 --> 00:38:55,399
Frits: Wat mag oranje of moet rood zijn.

482
00:38:55,719 --> 00:39:00,920
Frits: Dat helpt heel erg om te kijken van wat wil ik nou door een systeem laten doen of niet.

483
00:39:05,239 --> 00:39:12,599
Frits: En dan kijken ook van ja, van zo'n steekproef achteraf, ik weet ook niet altijd van hoe groot dan precies zijn.

484
00:39:12,840 --> 00:39:14,920
Frits: Dus je begint gewoon een beetje conservatief.

485
00:39:15,159 --> 00:39:19,559
Frits: En dan ga je langzaam ga je gewoon kijken van ja, wat werkt, wat werkt niet.

486
00:39:19,559 --> 00:39:21,880
Frits: Wat werkt ook fijn voor mensen.

487
00:39:22,599 --> 00:39:29,879
Frits: Want tegelijkertijd moet je er uiteindelijk ook voor zorgen dat als je nu anders inricht.

488
00:39:30,119 --> 00:39:48,119
Frits: Er kan natuurlijk ook een moment zijn dat er even uitlicht of dat het op een of andere manier even niet werkt, of dat er gewoon bepaalde cases zijn waarvan we zeggen, ja, die zijn zo uitzonderlijk die willen we helemaal niet laten oplossen.

489
00:39:48,119 --> 00:39:54,360
Frits: Die moet je gewoon altijd met de hand doen, dan moeten mensen nog wel in staat zijn om uiteindelijk die volledige case nog met de hand te blijven doen.

490
00:39:54,360 --> 00:39:56,199
Frits: Dus je moet ook die vaardigheden nog behouden.

491
00:39:56,199 --> 00:40:00,200
Frits: Dus het is een kwestie van hoe hou je mensen betrokken.

492
00:40:00,199 --> 00:40:03,880
Frits: Hoe zorg je dat ze die vaardigheden behouden, maar je wil ook efficiëntie.

493
00:40:04,039 --> 00:40:06,519
Frits: En dat moet je uiteindelijk een beetje balanceren.
500
00:40:06,519 --> 00:40:13,079
Frits: En dat is niet alleen een IT-vraagstuk, maar vooral vanuit een operationeel vraagstuk, moeten we daar moeten daar gewoon goed naar kijken.

494
00:40:13,079 --> 00:40:15,639
Frits: En dan moet je daar gewoon goede gesprek met elkaar over hebben.

495
00:40:15,639 --> 00:40:18,839
Niels: Ja, want moet je daarna vragen is: waar ben je dadelijk van afhankelijk?

496
00:40:18,840 --> 00:40:22,759
Niels: Je was daarvoor afhankelijk van twaalf verschillende systemen, nu ben je afhankelijk van een ander systeem.

497
00:40:22,760 --> 00:40:25,159
Niels: Dus hoe hou je die afhankelijkheden in kaart.

498
00:40:25,159 --> 00:40:27,000
Niels: En hoe acteer je erop.

499
00:40:27,000 --> 00:40:33,240
Frits: Ja, nou voor nou niet zozeer die dat je van die verschillende systeemafhankelijk bent, maar bijvoorbeeld.

500
00:40:33,639 --> 00:40:38,920
Frits: Dus als jij nou, je hebt de adaptive cruise control en de lane assist en dat weten dat allemaal.

501
00:40:39,719 --> 00:40:41,240
Frits: Je hebt hem altijd aanslaan.

502
00:40:41,320 --> 00:40:42,760
Joop: Je praat meteen terug.

503
00:40:50,519 --> 00:40:52,039
Frits: En je hoeft nooit meer te rijden.

504
00:40:52,039 --> 00:40:55,240
Frits: Dus je hebt altijd zelfrijden.

505
00:40:55,880 --> 00:40:58,360
Frits: En dan gebruik je een jaartje of vier.

506
00:40:58,360 --> 00:41:00,920
Frits: En dan ineens op een middag doet hij niet meer.

507
00:41:02,199 --> 00:41:05,079
Frits: Kijk je dan net zo even goed in je spiegeltjes.

508
00:41:05,079 --> 00:41:10,600
Frits: Dus je zal best nog wel van A naar B komen, maar het wordt misschien toch al wel ongemakkelijker.

509
00:41:10,599 --> 00:41:12,039
Frits: En dat is met dit net zo.

510
00:41:12,039 --> 00:41:15,960
Frits: Dus die mensen kunnen nu iets.

511
00:41:16,920 --> 00:41:25,799
Frits: Maar je moet uiteindelijk wel zorgen dat dat blijvend is, en hoe ver moet je erin gaan, dat weet ik niet.

512
00:41:25,800 --> 00:41:29,719
Frits: Want uiteindelijk, ja, ik heb ook geen kaarten meer in de auto.

513
00:41:29,719 --> 00:41:31,640
Frits: Dus daar vertrouw ik ook op mijn navigatie.

514
00:41:32,199 --> 00:41:33,079
Frits: Dat hoeft niet.

515
00:41:33,079 --> 00:41:37,559
Frits: Maar misschien toch onderhouden dat ik goed in die spiegeltjes kan kijken, is misschien wel weer handig.

516
00:41:37,960 --> 00:41:38,759
Frits: Ik weet het niet.

517
00:41:38,920 --> 00:41:40,039
Niels: Maar daar moet je rekening mee houden.

518
00:41:40,039 --> 00:41:41,000
Frits: Daar moet je rekening mee houden.

519
00:41:41,239 --> 00:41:42,440
Niels: Dat is belangrijk inderdaad.

520
00:41:42,599 --> 00:41:48,759
Niels: Ik was nieuwsgierig, je hebt dus heel mooi prototyping, daarna implementatie, validatie.

521
00:41:48,760 --> 00:41:50,760
Niels: En naar productie.

522
00:41:51,000 --> 00:41:53,079
Niels: Welke uitdagingen zijn er nog tegenaan gelopen?

523
00:41:53,159 --> 00:41:55,480
Frits: Ja, nee, nee, nee.

524
00:41:55,639 --> 00:42:00,440
Frits: Dus we hebben zeggen interviews, observaties gedaan, mock-ups.

525
00:42:00,679 --> 00:42:06,840
Frits: En wat ik net vertelde, daarna zijn we het gaan maken, zeg maar eigenlijk ook weer helemaal opnieuw.

526
00:42:07,000 --> 00:42:07,639
Frits: Scratch je aan.

527
00:42:07,719 --> 00:42:10,679
Frits: Dus dat vind ik eigenlijk ook een voordeel van code genereren.

528
00:42:10,679 --> 00:42:19,639
Frits: Dus niet voortbouwen op een of andere MVP waarvan je zei van dat is eigenlijk niet de bedoeling dat we daar mee naar productie gaan en dan toch toch stiekem doen.

529
00:42:19,880 --> 00:42:21,960
Frits: Want ze is toch zonde om weg te gooien.

530
00:42:22,599 --> 00:42:27,960
Frits: Het is toch van scratch even aan hebben we een werkbaar prototype gemaakt, noem ik maar even.

531
00:42:27,960 --> 00:42:36,680
Frits: Dus wat we gedaan hebben, is het specifiek voor één depo werkend gemaakt, zodat ze ook echt in productie mee konden werken.

532
00:42:36,920 --> 00:42:43,720
Frits: En dat we ook eigenlijk konden zien: wat komt er nou aan verschillende cases aan variatie binnen in zo'n week.

533
00:42:44,199 --> 00:42:49,320
Frits: En dan ontdek je toch alweer snel van ja, hier hadden we eigenlijk nog nooit van gehoord.

534
00:42:49,880 --> 00:42:54,760
Niels: Dan krijg je als je vraag naar de laatste vijf cases die bij zat, waar weet je niet.

535
00:42:56,760 --> 00:42:59,720
Frits: En dat hebben we anderhalve weken gedaan.

536
00:42:59,719 --> 00:43:03,719
Frits: En dan moet je voorstellen, daar hebben we nog niet netjes alle integraties.

537
00:43:03,720 --> 00:43:10,439
Frits: Dus ze moesten een download maken uit dit systeem waarin we nu de cases behandelen en dan in Excel inladen.

538
00:43:10,440 --> 00:43:16,440
Frits: Maar dat is allemaal niet erg, maar dat konden we in ieder geval zien van hoe werkt dit, hoe gaan mensen ermee om?

539
00:43:16,760 --> 00:43:17,799
Frits: Snappen ze het?

540
00:43:17,880 --> 00:43:21,320
Frits: Want uiteindelijk, daar werkten vier mensen op de afdeling.

541
00:43:21,639 --> 00:43:29,319
Frits: Twee hadden we al een keer meegenomen in het klikbare prototype, uiteraard moesten het nu nog een keertje even uitleggen, want er waren ook wel wel dingetjes.

542
00:43:29,639 --> 00:43:31,000
Frits: Iets veranderd.

543
00:43:31,320 --> 00:43:34,920
Frits: Maar zij hebben het ook weer uitgelegd aan twee andere medewerkers.

544
00:43:34,920 --> 00:43:36,279
Frits: En werkt dat dan?

545
00:43:37,039 --> 00:43:39,039
Frits: Wonderbaarlijk werkte dat.

546
00:43:39,039 --> 00:43:45,440
Frits: We konden meten over hoe snel waren ze aan het begin.

547
00:43:45,440 --> 00:43:50,480
Frits: Niet dat snelheid alles is uiteindelijk, maar is wel ook een factor.

548
00:43:50,639 --> 00:43:58,559
Frits: Hoe snel waren ze aan het begin van de week met een taken los en hoe snel aan het eind van de week, en zag je dat ze uiteindelijk twee en een half keer sneller waren.

549
00:43:58,559 --> 00:44:02,960
Frits: Dus je merkte wel dat ze het makkelijk oppakken.

550
00:44:02,960 --> 00:44:07,519
Joop: En dat was dan ook neem ik aan sneller dan hoe ze het eerst deden.

551
00:44:07,519 --> 00:44:08,799
Frits: Ja, dat sowieso.

552
00:44:10,800 --> 00:44:15,440
Frits: Wij kwamen daar geloof ik een donderdag, maakt het niet zo heel veel uit.

553
00:44:16,320 --> 00:44:17,839
Frits: Om een uurtje of tien.

554
00:44:18,480 --> 00:44:26,559
Frits: Er was één man en die begon volgens mij om acht uur, maar ik had tegen me gezegd, ja, weet je, doe vandaag nog geen keertjes, doe andere taken, maar geen cases, want wij gaan doen.

555
00:44:26,559 --> 00:44:32,160
Frits: Dus die vraag precies wat jij zegt, dat stapelt zich al op.

556
00:44:32,159 --> 00:44:33,840
Frits: En die man maakte zich enorm zorgen.

557
00:44:34,000 --> 00:44:37,360
Frits: Ja, maar vriend, hoe moet aan de slag?

558
00:44:38,159 --> 00:44:45,199
Frits: We had ook nog wat hoort, zeg maar, bij zo'n dag, in de opstart ging het toch nog even net wat mis.

559
00:44:46,400 --> 00:44:47,599
Frits: Authenticatie ging wat mis.

560
00:44:47,599 --> 00:44:49,279
Frits: Nou, moest even nog wat geregeld worden.

561
00:44:49,280 --> 00:44:51,119
Frits: Uiteindelijk konden we geloof ik 11 uur aan de slag.

562
00:44:51,119 --> 00:44:57,200
Frits: Die man was al helemaal zenuwachtig, want ja, hele berg met werk achterstand en hoe krijg ik dat weg.

563
00:45:00,480 --> 00:45:01,920
Joop: Was die achterstand.

564
00:45:03,760 --> 00:45:08,400
Frits: Dus dat was uiteindelijk ook weer ook weer geluk bij ongeluk dat je dat kon zien.

565
00:45:08,960 --> 00:45:24,079
Frits: Maar vooral ook hoeveel van de taken kunnen ze uiteindelijk kan je echt volledig automatisch doen of hoeveel taken eigenlijk of hoeveel cases kan je afhandelen met één of twee taken waar een mens aan te pas komt.

566
00:45:24,239 --> 00:45:26,240
Frits: Dat soort dingen konden we allemaal meten.

567
00:45:26,559 --> 00:45:30,399
Frits: En konden we ook weer kijken van wat werkt, wat werkt niet.

568
00:45:31,679 --> 00:45:38,880
Frits: We hadden gewoon een bericht opgesteld naar bezorgers en bezorgpartners.

569
00:45:39,360 --> 00:45:41,920
Frits: Maar we hadden daar wat extra informatie aan toegevoegd.
577
00:45:41,920 --> 00:45:49,039
Frits: Maar daardoor was bijvoorbeeld het adres, wat op afgeleverd was, was veel minder duidelijk als in de andere template.

570
00:45:49,039 --> 00:45:54,559
Frits: Dus in het begin kregen we heel veel mailtjes terug van over welk adres gaat dit.

571
00:45:55,119 --> 00:45:58,319
Frits: Dan kan je dan even de plekje snel aanpassen en testen.

572
00:45:59,360 --> 00:46:05,840
Niels: Het is ook echt wel een keten, niet alleen intern proces, maar je hebt natuurlijk met externe partijen te maken die eigenlijk allemaal mee moet nemen.

573
00:46:05,840 --> 00:46:08,480
Niels: En zo toch waar hebben jullie echt goed doordacht.

574
00:46:09,039 --> 00:46:12,879
Niels: Meegenomen, hoe ga je adoptie, hoe ga je gebruiken, hoe ga je goed inzetten.

575
00:46:12,880 --> 00:46:20,400
Frits: Ja, dus als je bijvoorbeeld ineens mails, we gingen een mails sturen bijvoorbeeld van een ander adres, even tijdelijk.

576
00:46:21,280 --> 00:46:27,119
Frits: Als je ze gewoon stuurt naar een x-aantal bezorgpartners, die krijgen ineens mails van een ander adres en die denken het zou spam zijn.

577
00:46:27,360 --> 00:46:30,000
Frits: Dus moeten ze bijvoorbeeld al van tevoren even informeren.

578
00:46:30,000 --> 00:46:33,760
Frits: Let op, je krijgt even gedurende anderhalf weken van dit adres.

579
00:46:34,960 --> 00:46:37,199
Frits: Maar uiteindelijk kan je dus ook feedback van hun meenemen.

580
00:46:38,400 --> 00:46:47,920
Frits: Dat was ook heel mooi, doordat we dat gezegd hadden dat we met deze pilot gingen, waren ook twee bezorgpartners die gewoon na de eerste dag hadden gezegd van nou.

581
00:46:48,800 --> 00:46:54,000
Frits: Mooi dat jullie hier weer bezig zijn en we zien dit als verbetering, maar dit en dit vinden we nog lastig.

582
00:46:54,000 --> 00:46:56,480
Frits: En dit kan wat ons betreft beter.

583
00:46:56,480 --> 00:46:58,079
Frits: Nou, hartstikke mooi meegenomen.

584
00:46:58,559 --> 00:47:00,400
Frits: Dan kan je meteen aanpassen.

585
00:47:00,800 --> 00:47:02,000
Niels: En waar wil je heen?

586
00:47:02,000 --> 00:47:04,000
Niels: En dan komen we nu op jouw vraag.

587
00:47:04,559 --> 00:47:07,760
Frits: Dit was de pilot.

588
00:47:08,559 --> 00:47:13,360
Frits: Dat is eigenlijk waar we staan, hebben nu besloten om het ook echt te gaan maken.

589
00:47:13,360 --> 00:47:15,679
Frits: Dus ik zie het ook echt steeds als een investeringsbeslissing.

590
00:47:15,920 --> 00:47:18,079
Frits: Ik ben begonnen met een vraag.

591
00:47:18,239 --> 00:47:21,760
Frits: Ik ben eerst gaan kijken wat is nou echt het probleem.

592
00:47:21,760 --> 00:47:25,519
Frits: Dan heb je zegt, oké, nou dat probleem, dit is het probleem.

593
00:47:25,519 --> 00:47:33,680
Frits: En wat ik kan doen, is voor dit bedrag kan ik gaan kijken naar wat zo de allerbeste oplossing zijn en dat valideren met de mock-up.

594
00:47:33,679 --> 00:47:34,639
Frits: Vind je dat oké?

595
00:47:34,639 --> 00:47:35,920
Frits: Nou, prima.

596
00:47:36,559 --> 00:47:39,679
Frits: Dat gedaan, te zeggen, een prototype maken, zoveel.

597
00:47:39,679 --> 00:47:45,360
Frits: En nu hebben we gezegd, als we dit in productie willen hebben, heb ik zoveel tijd nodig.

598
00:47:46,000 --> 00:47:50,239
Frits: Zoveel mensen, dit gaat het kosten, dit gaat het opleveren, willen we dat.

599
00:47:50,239 --> 00:47:55,440
Frits: Dus eigenlijk stap voor stap iedere keer kijken, levert ook echt iets op.

600
00:47:56,239 --> 00:47:58,719
Frits: En hoe verhoudt zich dat tot de kosten die moeten maken?

601
00:47:59,840 --> 00:48:01,119
Niels: Hoe blijf je dan toch klein?

602
00:48:01,119 --> 00:48:05,360
Niels: Want je wil kleine stappen maken, maar wanneer is het klein, wanneer is het te klein?

603
00:48:06,000 --> 00:48:14,400
Joop: Wanneer is het te groot zou ik haast willen zeggen, want je eerder dat je dat je te groot maakt dan te klein zoeken.

604
00:48:15,519 --> 00:48:20,000
Frits: Ja, dus ik kijk gewoon heel erg naar het doel van wat wil ik dan in zo'n stap bereiken.

605
00:48:20,000 --> 00:48:23,479
Frits: Dus in dit geval wilde ik eigenlijk alleen maar zien die mensen daarmee omgaan.

606
00:48:21,679 --> 00:48:27,559
Frits: Dus voor mij was de hypothese was, snappen die mensen dit in product.

607
00:48:29,719 --> 00:48:38,599
Frits: Hoeveel cases bestaan er nog waarvan ik niet weet wat het is, dus werkt dat, zeg maar, en kun je die mensen er zelfstandig mee omgaan.

608
00:48:38,599 --> 00:48:39,480
Frits: Dus dat wilde ik testen.

609
00:48:39,480 --> 00:48:46,440
Frits: Dus we hebben uiteindelijk dat gemaakt om die hypothese, wat nodig is om die hypothese te toetsen.

610
00:48:47,000 --> 00:48:54,679
Frits: En niet zozeer nu al gefocust op, hoe maak ik dit schaalbaar of dat dingen.

611
00:48:54,679 --> 00:48:56,119
Niels: En had je casus 1.

612
00:48:56,280 --> 00:48:58,279
Niels: Ik zie je op zijn vinger, maar gaat op een vraag stellen.

613
00:48:58,440 --> 00:49:03,319
Niels: Casus 1, casus 2, één heb je veel geleerd, van twee ben je nog aan het leren.

614
00:49:03,320 --> 00:49:08,360
Niels: Wat wil je minimaal meenemen naar je volgende casus qua leren?

615
00:49:09,239 --> 00:49:11,320
Frits: Goede vraag.

616
00:49:15,320 --> 00:49:17,400
Frits: Er zijn eigenlijk zoveel dingen nieuws.

617
00:49:19,480 --> 00:49:21,639
Joop: Een top drie voor de luisteraars meteen.

618
00:49:21,800 --> 00:49:22,840
Frits: Nee, zeker zeker zeker.

619
00:49:23,159 --> 00:49:24,279
Frits: Dus ik zit gewoon te denken.

620
00:49:24,280 --> 00:49:31,000
Frits: Dus voor mij wat ik al zei, goed product begint bij de gebruiker, dat ze altijd zijn.

621
00:49:31,000 --> 00:49:40,519
Frits: En ik denk specifiek in deze gevallen is voor mij hoe hou ik die gebruiker betrokken en ook overzichten dat ze het ook echt snappen.

622
00:49:40,760 --> 00:49:50,920
Frits: En ik denk voor de mensen die het maken, want we proberen ook zeg maar nu met AI veel te maken.

623
00:49:51,719 --> 00:49:57,000
Frits: Is daar ook meer aandacht aan de mensen besteden als aan de techniek.

624
00:49:57,320 --> 00:49:59,239
Frits: Dus ik krijg ook andere gesprekken.

625
00:49:59,239 --> 00:50:08,359
Frits: Dus bijvoorbeeld iemand die zegt ja, Frits, vroeger wist ik precies van alles nog hoe ik hoe het zat, want ik had het helemaal zelf gemaakt, dat merkt trouwens zelf ook.

626
00:50:10,039 --> 00:50:16,760
Frits: Dat spuugt natuurlijk voor je het weet, spuugt het van alles uit en dan beklijft dat helemaal niet meer.

627
00:50:17,639 --> 00:50:19,799
Frits: Dus dat je daar bijvoorbeeld aandacht aan besteed.

628
00:50:22,519 --> 00:50:25,880
Frits: Het levert zoveel code op dat eigenlijk niet meer goed gereviewd.

629
00:50:25,880 --> 00:50:29,719
Frits: Nou ja, dan moet je misschien minder code genereren en meer met de hand doen.

630
00:50:29,719 --> 00:50:30,840
Frits: Ja, dat is niet efficiënt.

631
00:50:31,079 --> 00:50:33,479
Frits: Het gaat niet om efficiëntie, het gaat om kwaliteit.

632
00:50:33,559 --> 00:50:35,399
Frits: Dus ik denk die drie dingen.

633
00:50:35,960 --> 00:50:37,559
Frits: Begin bij de gebruiker.

634
00:50:37,880 --> 00:50:45,639
Frits: Zorg dat je die gebruiker betrokken houdt dat hij het over zich bewaart en besteed ook aandacht aan wat het anders maakt voor je engineers.

635
00:50:45,639 --> 00:50:49,559
Joop: En wat ik in je verhaal heb gehoord, is begin eigenlijk niet bij de techniek.

636
00:50:50,679 --> 00:50:52,679
Joop: We zitten hier in de AIToday Live.

637
00:50:52,679 --> 00:50:55,880
Joop: Maar het is niet je uitgangspunt.

638
00:50:56,119 --> 00:51:02,200
Frits: Nee, dus product management en vakmanschap van engineering.

639
00:51:02,760 --> 00:51:03,959
Frits: Dat blijft gewoon.

640
00:51:03,960 --> 00:51:10,359
Frits: Dus al die nonsens zou ik bijna noemen, van dit is dood blind in en dat is dood.

641
00:51:10,360 --> 00:51:11,400
Frits: Nee, helemaal niet.

642
00:51:12,599 --> 00:51:17,639
Frits: Als je ergens heel goed in bent, dan kan AI je helpen om daar sneller goed in te zijn.
651
00:51:17,639 --> 00:51:22,040
Frits: Maar als je er niet zo goed in bent, dan maakt AI ook dan heel snel niet zo goed.
 643
00:51:22,119 --> 00:51:23,880
Joop: Lijkt me een hele mooie afsluiting.
 644
00:51:23,880 --> 00:51:24,519
Joop: Dankjewel, Frits.
 645
00:51:24,519 --> 00:51:28,199
Joop: Dankjewel dat je ons door die reis mee hebt genomen van de twee cases.
 646
00:51:28,519 --> 00:51:33,720
Joop: Superduidelijk, hoop van geleerd, dankjewel alsjeblieft graag gedaan.
 647
00:51:34,360 --> 00:51:39,639
Joop: Leuk dat je weer luisterde naar deze aflevering, vergeet je niet te abonneren via je favoriete podcast app.
 648
00:51:39,639 --> 00:51:43,880
Joop: En we hebben een link naar onze nieuwsbrief.
 649
00:51:43,880 --> 00:51:54,359
Joop: Daar krijg je inzicht van dingen die we achter de schermen doen, waaronder de vraag van de maand die we aan Frits nog gaan stellen, en aan de andere luisteraars van deze maand.
 650
00:51:54,360 --> 00:51:57,320
Joop: Dus abonneer op de nieuwsbrief tot de volgende keer.