Notre projet
Ce projet était à l'origine une opportunité pour nous de renforcer notre expérience dans l'analyse sémantique des contenus du web. Nous avons donc décider d'analyser les "offres de mission pour les freelance du numérique" car il s'agissait d'un secteur que nous connaissions.
Le web scraping
Le Web Scraping est un ensemble de techniques permettant d'extraire des contenus disponibles sur le Web. L’objectif est de transformer ces contenus en données structurées ou non afin de les utiliser :
- Soit dans un autre contexte, par exemple, pour faire une intégration rapide entre deux applications;
- Soit pour stocker ces données en base pour qu’elles soient analysées.
Moteur de recherche vs web scraping
Ce que nous faisons n'est pas du web scraping, en effet nous proposons juste un moteur de recherche intelligent et spécialisé sur la recherche des missions pour freelance en numérique.
En aucun cas nous nous approprions les informations des sites que nous référencons, bien au contraire nous leur offrons une visibilité accrue lorsque les missions qu'ils proposent sont de qualité.
L'analyse sémantique
Afin d'analyser les offres de mission que nous trouvons sur le web, nous utilisons les techniques de l'analyse sémantique afin de les classer dans les bonnes catégories. Pour l'instant nous cherchons à déterminer les éléments clefs suivants :
- La localisation exacte de la mission;
- La fontion de l'indépendant dans cette mission;
- Les tags de l'annonce. C'estg à dire les informations les plus pertinanetes qui permettent de décrire la mission;
- Les mots clefs principaux de l'annonce;
Filtrage et nettoyage du contenu
De la même façon que précédement, nous nettoyons le contenu des annonces des informations que nous jugeons non pertinentes. Par exemple, pour nous le contenu d'une offre de mission doit avant tout parler de la mission et donc proposer les thèmes suivant :
- Le contexte de la mission;
- La description de la mission;
- Les connaissances nécessaires pour la réalisation de la mission;
- Les critères de sélection du freelance.
Le scoring des offres de mission
Pour l'attribution de la note, nous suivons les critères suivants :
- La qualité du contenu;
- L'adéquation du contenu avec le titre de la mission;
- La pertinence des informations;
- Le sérieux du site où se trouve l'offre.
Les sites que nous référencons
Nous poursuivons nos efforts pour indexer tous les sites proposant des mission pour freelance et indépendant dans l'IT, les systèmes d'information et le web. Nos crawlers visitent sans relâche ces sites pour affiner la qualité de nos résultats.
