Scraping, ook wel webscraping, is het geautomatiseerd ophalen van informatie van websites. Een programma vraagt pagina’s op zoals een bezoeker dat doet, haalt daar de gewenste onderdelen uit en zet die in een bestand of database. Zo verzamelen bedrijven bijvoorbeeld prijzen van concurrenten, vacatures, openingstijden of productgegevens.
Voor het MKB heeft scraping twee kanten. Het kan je werk schelen als je gegevens nodig hebt uit een systeem dat geen koppeling aanbiedt. Tegelijk kan je eigen site het doelwit zijn: bots die je catalogus leegtrekken, je teksten kopiëren of je server zwaar belasten. Ook AI-modellen worden voor een deel getraind op materiaal dat op deze manier is verzameld.
Loont het om zelf te scrapen, kijk dan eerst of er een API is; dat is stabieler en netter dan pagina’s uitlezen die morgen anders kunnen zijn. Houd je aan de gebruiksvoorwaarden van de site en let op persoonsgegevens, want die vallen onder de privacywetgeving. Wil je je eigen site beschermen, dan helpen snelheidslimieten, een webapplicatie-firewall en botherkenning.
Wat OkayICT hierin doet: Wij helpen je koppelingen netjes via een API te regelen en beschermen je eigen site tegen bots die hem leegtrekken.
Meer lezen: Wat is een API? · Wat is een webapplicatie-firewall (WAF)?
