ModouDiscoveryBot leest geselecteerde openbare pagina's, zoals bekendmakingen, aanbestedingen, vergunningen en publicaties van netbeheerders, zodat klanten van Modou in de bouw en de energiemarkt zien welke projecten vastlopen. Het is een kleine crawler die zich netjes gedraagt, geen algemene zoekmachine voor het hele internet.
Gecontroleerd op 30 augustus 2026
De crawler leest goedgekeurde openbare registerpagina's en nieuw gevonden openbare detailpagina's. Pagina's die klanten volgen en pagina's uit zoekresultaten van klanten gaan in deze eerste verzamelfase niet naar de gedeelde crawler. Verzoeken maken zich bekend als ModouDiscoveryBot/1.0 en verwijzen naar deze pagina.
De crawler probeert eerst een gewoon webverzoek. Een aparte, streng begrensde browser mag JavaScript alleen uitvoeren voor een bron die Modou daar uitdrukkelijk voor heeft goedgekeurd. De crawler logt niet in, lost geen CAPTCHA's op, omzeilt geen betaalmuren, gebruikt geen proxy's, downloadt geen bestanden via de browser en omzeilt geen blokkades van de website. Voordat de crawler een pagina ophaalt, controleert hij robots.txt.
De HTTP-worker doet nooit meer dan twee verzoeken tegelijk en de optionele browser verwerkt één pagina tegelijk. Modou stuurt nooit parallelle verzoeken naar één host en wacht minstens vijf seconden tussen verzoeken naar dezelfde host.
Modou bewaart de paginatitel, maximaal 20.000 tekens opgeschoonde openbare tekst, bronlinks, taal, publicatiedatum, ophaaldatum en technische controlegegevens. Modou bewaart geen ruwe HTML en verwijdert mailadressen en telefoonnummers uit geïndexeerde tekst.
Je kunt de crawler blokkeren via robots.txt. Wil je een al geïndexeerde pagina laten verwijderen of het gedrag van de crawler op je site laten corrigeren, mail dan de betrokken URL naar hi@modou.io. We beoordelen je verzoek en verwijderen inhoud die daarvoor in aanmerking komt.
Mail hi@modou.io en vermeld de website, de betrokken pagina's en een korte uitleg. Je hoeft geen account bij Modou aan te maken.
Upload het bestek, de staten en het model die je hebt gekregen. Je ziet de tegenstrijdigheden, de ontbrekende posten en de hoeveelheden die je moet nalopen, voordat ze in je prijs belanden.
Controleer één project gratis. Geen creditcard nodig.