De la découverte des sites au traitement des contenus, découvrez comment chaque étape élargit le champ de recherche et permet de concentrer les ressources sur les pistes les plus pertinentes.
Au fil des passages, de nouveaux sites enrichissent le catalogue et les résultats permettent d’orienter les recherches suivantes. Des outils spécialisés complètent cette exploration sur certains sites.
La découverte alimente l’exploration généraliste. Les liens collectés relancent la découverte. Les résultats de l’exploration servent à la priorisation ; les priorités orientent les prochaines explorations. En parallèle, des outils spécialisés complètent la couverture. Les contenus des deux explorations alimentent le traitement et l’indexation.
01 / Découverte
Découvrir et qualifier de nouveaux sites
Le moteur de découverte est conçu pour fonctionner 24 h/24. Il explore les liens entre les sites, examine leurs contenus et les classifie pour enrichir progressivement le catalogue de sources.
La découverte continue permet d’étendre le périmètre de recherche au fil du temps.
02 / Exploration généraliste
Explorer l’ensemble du catalogue
Le moteur généraliste vise une couverture large des sites référencés. Il répartit les explorations entre les domaines, récupère les contenus accessibles et découvre de nouvelles pages.
Les liens collectés alimentent de nouvelles explorations : chaque passage peut ouvrir de nouvelles pistes.
03 / Priorisation
Concentrer les ressources sur les pistes utiles
Le système utilise les résultats des explorations pour ajuster ses priorités. Il distingue notamment les images propres au contenu des éléments communs, comme les illustrations de navigation.
Les sites et familles de pages peu pertinents peuvent être mis de côté ou explorés moins fréquemment.
Le budget de calcul peut ainsi être consacré aux recherches les plus utiles.
04 / En parallèle
Compléter la couverture avec des outils spécialisés
Certaines plateformes organisent leurs contenus en galeries, albums ou vidéos qui nécessitent un traitement particulier.
Des outils dédiés complètent le moteur généraliste, avec une collecte adaptée à la structure de ces sites.
05 / Traitement
Transformer les contenus en données exploitables
Explorations généraliste et spécialisée
Les images et vidéos collectées passent par une chaîne de traitement : calcul d’empreintes numériques des contenus, détection des doublons, indexation et conservation de leur provenance.
Ce travail prépare la recherche de correspondances et permet de retrouver les sources associées aux contenus rencontrés.