 Het succes van ChatGPT baart leerkrachten zorgen: zullen studenten nu niet massaal hun papers laten schrijven door deze AI? Gelukkig voor hen zijn verschillende universiteiten bezig met het ontwerpen van watermerken, die duidelijk kunnen maken of een tekst geschrven werd door een AI of door een mens. Zo slaagden wetenschappers van de universiteit van Maryland erin om een watermarking algoritme te ontwerpen. Zij hebben die geïntegreerd in het open source taalmodel van Meta, OPT-6.7B. En die zou tekst met een watermerk kunnen detecteren. De paper hierover zou nog wel een peer-review moeten doorstaan.
Maar de uitleg over hoe het werkt is wel interessant, en het is DTNS waarwij die uitleg vonden. Je moet om te beginnen dat taalmodellen telkens maar één woord genereren, en dan gaan voorspellen wat het volgende woord zou zijn. Denk aan de voorspellingen in de tekst die je intikt in je smartphone. Het watermerk-algoritme verdeelt de woordenschat van een taalmodel in een rode en een groene lijst. Telkens een model een woord kiest dat het vorige woord moet opvolgen, zal het algoritme het model aanmoedigen om een woord uit de groene lijst te kiezen. Dat zal het model niet altijd doen, maar toch genoeg keren zodat meer dan de helft van de woorden in de tekst uit de groene lijst afkomstig zijn.
Een concreet voorbeeld: nadat het model het woord country kiest, dan zijn de woorden pond, pool, swimminghole en waterhole woorden die volgens het algoritme even goed mogelijk zijn. Zij hebben een gelijke score. Maar als "pond" op de groene lijst staat, dan zal het model dat woord kiezen. Terwijl een menselijk wezen eerder elk van die woorden zou kiezen. Als je dat proces dan honderdduizend keer herhaalt, afhankelijk van de lengte van de tekst, dan zal opgemerkt kunnen worden dat er zoveel woorden uit de groene lijst gebruikt worden, dat het onwaarschijnlijk is dat een mens deze teks schreef.
Zo. Een klein tipje van de geheimen van AI opgelicht, dankzij DTNS!
https://www.technologyreview.com/2023/01/27/1067338/a-waterm ...
https://github.com/jwkirchenbauer/lm-watermarking
https://archive.org/details/dtns20230127
|
