www.netties.be

Home

Vandaag

Nieuws | Nieuwe woordjes leren: Common crawl

Gepubliceerd op: 2025-12-26

Common Crawl is een gratis, open schatkamer van het internet. Het is een non-profit organisatie die al sinds 2007 het web aftapt en opslaat voor iedereen.

Hoe werkt het?
Elke maand lopen robots (crawlers genaamd CCBot) het internet af. Ze bezoeken miljarden webpagina's: blogs, nieuws, winkels, forums... alles wat openbaar staat. Ze slaan die pagina's op in enorme bestanden (zo'n 100-400 terabyte per crawl, gecomprimeerd). Denk aan een soort gigantische Wayback Machine, maar dan ruwer en actueler.
Momenteel bevat Common Crawl meer dan 300 miljard pagina's uit 18 jaar internet. Elke maand komen er 2-3 miljard nieuwe bij. Het is één van de grootste open datasets ter wereld.

Wie gebruikt het?
- AI-bedrijven (zoals OpenAI, Anthropic) om ChatGPT-achtige modellen te trainen.
- Wetenschappers voor onderzoek naar taal, trends, nepnieuws of economie.
- Ontwikkelaars die zoekmachines, vertaaltools of analyses bouwen.
Het is helemaal gratis te downloaden via Amazon-cloud of rechtstreeks te doorzoeken.

Waarom is het belangrijk?
Zonder Common Crawl zouden veel AI-tools veel minder slim zijn. Het democratiseert het internet: niet alleen Google of Meta heeft toegang tot zo'n enorme hoeveelheid data, jij en ik ook. Het is echter niet zo eenvoudig als een gewone zoekopdracht ingeven op Google. Een duidelijke technische uitleg vind je bij Common Crawl zelf.
De methode van Common Crawl lag in 2025 wel onder vuur; toen waren er namelijk rapporten dat het ook content van nieuwssites bevatte die normaal gezien achter een betaalmuur staat. Er werden ook vragen gesteld over hoe het omgaat met verzoeken van uitgevers om content te verwijderen.
Toch blijft Common Crawl de openbare bibliotheek van het hele web – enorm, gratis en cruciaal voor moderne technologie.

(1) https://commoncrawl.org/...
(2) https://en.wikipedia.org/wiki/Common_Crawl...
(3) https://commoncrawl.org/get-started...

Terug naar het overzicht

Nieuws

Hardware

Oor

Site

Tip

Software

Bekijk hier de oudere artikels

Ons archief is wellicht het meest uitgebreide overzicht...

Alle rechten voorbehouden aan www.netties.be (c) 2026 - v50 - voor suggesties en vragen gebruik ons .

Design en programmatie by PDL