Crawler
Découverte automatique de ressources web, avec scoring IA.
Ce qu'elle sait faire
- Parcourt des sites et suit les liens sur plusieurs niveaux de profondeur.
- Évalue la pertinence de chaque page avec l’IA (scoring) avant de l’obtenir.
- Respecte robots.txt et borne le périmètre (pages max, profondeur, même domaine).
- S’exécute à la demande ou selon une planification cron.
- Confie les pages retenues aux Web/File Extractors pour l’obtention.
Utilisée dans
Comment l'utiliser au quotidien
Backoffice : Crawlers · Planifications. Les étapes détaillées et les captures d'écran se trouvent dans les pages de la section Fonctionnalités.