Openbare webcrawler
ModouDiscoveryBot controleert geselecteerde openbare pagina's om actuele zakelijke kansen voor klanten van Modou te vinden. Het is een kleine, beleefde crawler en geen algemene zoekmachine voor het hele internet.
Gecontroleerd op 24 juli 2026
De crawler leest goedgekeurde openbare registerpagina's en nieuw gevonden openbare detailpagina's. Pagina's die klanten volgen en pagina's uit zoekresultaten van klanten gaan in deze eerste verzamelfase niet naar de gedeelde crawler. Verzoeken noemen ModouDiscoveryBot/1.0 en verwijzen naar deze pagina.
De crawler probeert eerst een gewoon webverzoek. Een aparte, streng begrensde browser mag JavaScript alleen uitvoeren voor een bron die Modou daar uitdrukkelijk voor heeft goedgekeurd. De crawler logt niet in, lost geen CAPTCHA's op, omzeilt geen betaalmuren, gebruikt geen proxy's, downloadt geen bestanden via de browser en omzeilt geen keuzes van de website. Voor het ophalen controleert de crawler robots.txt.
De HTTP worker doet nooit meer dan twee verzoeken tegelijk en de optionele browser verwerkt één pagina tegelijk. Modou vraagt één host nooit tegelijk op en wacht minstens vijf seconden tussen verzoeken naar dezelfde host.
Modou bewaart de paginatitel, maximaal 20.000 tekens opgeschoonde openbare tekst, bronlinks, taal, publicatiedatum, ophaaldatum en technische controlegegevens. Modou bewaart geen ruwe HTML en verwijdert mailadressen en telefoonnummers uit geïndexeerde tekst.
Je kunt de crawler blokkeren via robots.txt. Wil je een al geïndexeerde pagina laten verwijderen of het gedrag van de crawler op je site laten corrigeren, mail dan de betrokken URL naar hi@modou.io. We beoordelen je verzoek en verwijderen inhoud die daarvoor in aanmerking komt.
Mail hi@modou.io en vermeld de website, de betrokken pagina's en een korte uitleg. Je hoeft geen account bij Modou te maken.
