Openbare webcrawler
ModouDiscoveryBot leest geselecteerde openbare pagina's, zoals bekendmakingen, aanbestedingen, vergunningen en publicaties van netbeheerders, zodat klanten van Modou in de bouw en de energiemarkt zien welke projecten vastlopen. Het is een kleine, beleefde crawler en geen algemene zoekmachine voor het hele internet.
Gecontroleerd op 30 augustus 2026
De crawler leest goedgekeurde openbare registerpagina's en nieuw gevonden openbare detailpagina's. Pagina's die klanten volgen en pagina's uit zoekresultaten van klanten gaan in deze eerste verzamelfase niet naar de gedeelde crawler. Verzoeken identificeren zich als ModouDiscoveryBot/1.0 en verwijzen naar deze pagina.
De crawler probeert eerst een gewoon webverzoek. Een aparte, streng begrensde browser mag JavaScript alleen uitvoeren voor een bron die Modou daar uitdrukkelijk voor heeft goedgekeurd. De crawler logt niet in, lost geen CAPTCHA's op, omzeilt geen betaalmuren, gebruikt geen proxy's, downloadt geen bestanden via de browser en omzeilt geen keuzes van de website. Voor het ophalen controleert de crawler robots.txt.
De HTTP worker doet nooit meer dan twee verzoeken tegelijk en de optionele browser verwerkt één pagina tegelijk. Modou vraagt één host nooit tegelijk op en wacht minstens vijf seconden tussen verzoeken naar dezelfde host.
Modou bewaart de paginatitel, maximaal 20.000 tekens opgeschoonde openbare tekst, bronlinks, taal, publicatiedatum, ophaaldatum en technische controlegegevens. Modou bewaart geen ruwe HTML en verwijdert mailadressen en telefoonnummers uit geïndexeerde tekst.
Je kunt de crawler blokkeren via robots.txt. Wil je een al geïndexeerde pagina laten verwijderen of het gedrag van de crawler op je site laten corrigeren, mail dan de betrokken URL naar hi@modou.io. We beoordelen je verzoek en verwijderen inhoud die daarvoor in aanmerking komt.
Mail hi@modou.io en vermeld de website, de betrokken pagina's en een korte uitleg. Je hoeft geen account bij Modou te maken.
