www.netties.be

Home

Vandaag

Nieuws | Ook Wikimedia worstelt met overlast door AI crawlers, maar wel om een specifieke reden

Gepubliceerd op: 2025-04-03

We hebben het al eerder gehad over het feit dat de AI crawlers heel wat overlast veroorzaken. Zij lopen immers het hele internet af, op zoek naar content waarmee de Large Language Modellen gevoed kunnen worden. Hun bezoek betekent extra verkeer voor al die websites - verkeer waar de sites zelf geen baat bij hebben, want het zijn geen menselijke lezers. Maar dat extra verkeer betekent een hogere belasting voor de servers, meer onderhoudskosten, enz.

Veel open source projecten klagen over die overlast. Ook Wikimedia, de organisatie achter o.a. Wikipedia. Dat zag de bandbreedte voor het downloaden van multimedia sinds januari met maar liefst 50% stijgen. En dat is niet omdat menselijke lezers plots een grote honger hadden om Wikipedia artikels te lezen, of video's of multimediabestanden te downloaden van Wikimedia. Het waren de AI crawlers die de stijging veroorzaakten. En voor een probleem zorgen, om de volgende reden.

Het is namelijk zo dat menselijke lezers een bepaald onderwerp gaan opzoeken omdat het in het nieuws is, zoals de dood van een beroemd persoon. Wikimedia maakt van content die vaak geraadpleegd wordt, een cache in het datacenter dat het dichtste bij de gebruiker staat. Waardoor wordt de content sneller bij de lezer gebracht. Maar content die niet zo vaak geraadpleegd wordt, moet terug opgehaald worden van het core data center. En dat vraagt meer computerkracht, en kost Wikimedia dus meer geld.

Het is zelfs zo erg dat 65% van het verkeer dat veel computerbronnen vergt, afkomstig is van bots. Wat nu al voor problemen zorgt bij het Site Reliability team, dat tracht de crawlers af te stoppen zodat pagina's niet trager laden bij échte, menselijke lezers.

Een probleem voor Wikimedia, dat echt afhangt van donaties, onder het motto: Onze content is gratis, onze infrastructuur is het niet.

(1) https://www.engadget.com/ai/wikipedia-is-struggling-with-voraciou...

Terug naar het overzicht

Nieuws

Hardware

Oor

Site

Tip

Software

Bekijk hier de oudere artikels

Ons archief is wellicht het meest uitgebreide overzicht...

Alle rechten voorbehouden aan www.netties.be (c) 2025 - v50 - voor suggesties en vragen gebruik ons .

Design en programmatie by PDL