Des outils pour la surveillance de l’écosystème
Lorsque c’est possible, nous publions notre code de collecte et d’analyse pour permettre à d’autres de reproduire nos résultats et de soumettre nos méthodes à l’examen.
Tous les dépôts · 6
pytok collecte des vidéos, des commentaires et des métadonnées de comptes TikTok pour constituer des corpus de recherche : fils d’utilisateurs, mots-clics, recherche par mot-clé et sons, avec des fonctions qui mettent les résultats en tableaux de vidéos, de commentaires et d’utilisateurs. C’est notre outil le plus utilisé, testé en intégration continue et citable grâce à un DOI Zenodo. Installez-le depuis ce dépôt : sur PyPI, le nom appartient à un autre logiciel. Diffusé sous licence PolyForm Noncommercial : code consultable, pour un usage non commercial.
fbscrape collecte des données Facebook publiques — fils de pages et de groupes, recherche par mot-clé, commentaires, détails des publications et dossiers de transparence des pages — et les restitue dans le schéma de Facebook plutôt qu’en HTML analysé. Conçu pour de longues collectes qui reprennent là où elles se sont arrêtées, avec des sorties CSV, JSONL ou Parquet et un guide pour chaque point d’accès. Diffusé sous licence PolyForm Noncommercial : code consultable, pour un usage non commercial.
igscrape collecte des fils d’utilisateurs, des profils, des publications et des résultats de recherche Instagram, depuis Python ou la ligne de commande, sous la forme des enregistrements JSON que reçoit l’application elle-même. Les résultats sont écrits en JSONL puis mis à plat en CSV ou en Parquet, et les images et vidéos peuvent être téléchargées à partir d’un fichier de résultats. Diffusé sous licence PolyForm Noncommercial : code consultable, pour un usage non commercial.
aiscrape vérifie ce que répondent les produits d’IA et ce qu’ils citent : il soumet une requête au mode IA de Google et aux interfaces web de ChatGPT, Claude, Gemini et Meta AI, puis renvoie la réponse avec les sources web qui la fondent. C’est la couche de collecte de nos audits des moteurs de réponse par IA. Diffusé sous licence PolyForm Noncommercial : code consultable, pour un usage non commercial.
La commande meo est le client de la base de données de traces numériques de l’OEM : rechercher, compter, agréger et exporter en lot des publications de Twitter/X, Facebook, Instagram, YouTube, TikTok, Telegram et Bluesky, avec des résultats en JSONL, JSON, CSV ou en tableau. Elle exige un compte OEM approuvé.
Une chaîne de modélisation thématique qui extrait de l’API de l’OEM les publications correspondant à une requête, une période et un ensemble de plateformes, puis les regroupe avec BERTopic ou Toponymy à l’aide de plongements multilingues. C’est une chaîne de recherche plutôt qu’une bibliothèque, et elle exige un accès à l’API de l’OEM. Diffusé sous licence PolyForm Noncommercial : code consultable, pour un usage non commercial.