Les commentaires indésirables SPAM sont souvent présents sur les plateformes de réseaux sociaux, leur rôle est de rediriger l’utilisateur vers un autre compte de médias sociaux, un site Web ou tout autre élément de contenu. YouTube est l’une des plateformes qui utilise l’apprentissage automatique pour filtrer automatiquement ce genre de commentaires afin de protéger ses créateurs.
La détection des commentaires indésirables est une tâche de classification de texte dans le Machine Learning. Alors pour mener bien ce projet il ne faut un jeu de données et vous pouvez le télécharger sur kaggle.
importer les bibliothèques Python
Nous allons sélectionné les deux colonnes content et class pour notre tâche :
La colonne class contient les valeurs 0 et 1, 0 indique qu’il ne s’agit pas de spam et 1 affirme que c'est un spam. Changeons ces étiquettes en Spam Comment et Not Spam au lieu de 1 et 0.
Modèle de classification
Ici, il s'agit bien d'un problème de classification binaire, Nous aloons utiliser L'algorithme Bernoulli Naive Bayes.
Voici comment fonctionne l'algorithme de Bernoulli Naive Bayes :
Principe de Base : L'algorithme est basé sur le principe de la probabilité conditionnelle. Il suppose que les caractéristiques d'un exemple sont conditionnellement indépendantes étant donné leur classe. Cette hypothèse "naïve" est souvent simplificatrice mais fonctionne bien dans de nombreuses applications.
Données Binaires : L'algorithme de Bernoulli Naive Bayes est couramment utilisé pour des données binaires, telles que la classification de texte où les caractéristiques sont généralement des mots qui sont soit présents (1) ou absents (0) dans un document.
Modélisation des Probabilités : L'algorithme modélise la probabilité que chaque caractéristique (mot) soit présente ou absente dans une classe donnée. Pour ce faire, il calcule la fréquence d'occurrence de chaque caractéristique dans les exemples d'entraînement de cette classe.
Théorème de Bayes : L'algorithme utilise le théorème de Bayes pour calculer la probabilité que l'exemple appartienne à une classe donnée, étant donné les valeurs des caractéristiques. Plus précisément, il calcule la probabilité a posteriori de la classe en utilisant la probabilité a priori de la classe et les probabilités conditionnelles des caractéristiques étant donné la classe.
Classification : Une fois que les probabilités a posteriori sont calculées pour chaque classe, l'algorithme attribue l'exemple à la classe avec la probabilité la plus élevée. C'est-à-dire, il choisit la classe qui maximise la probabilité a posteriori.
Entraînement du modèle
Nous allons tester le modèle en donnant des vrais commentaires et des spams en entrée :
Nous venons de voir comment entraîner un modèle de Machine Learning pour la tâche de détection du spam à l’aide de Python avec L'algorithme de Bernoulli Naive Bayes. L'algorithme de Bernoulli Naive Bayes est particulièrement efficace dans la classification de texte, où il peut être utilisé pour des tâches telles que la détection de spam, l'analyse de sentiment, la catégorisation de documents, etc. Il est apprécié pour sa simplicité, sa rapidité d'entraînement et sa capacité à gérer des ensembles de données avec un grand nombre de caractéristiques. Cependant, il peut ne pas être le meilleur choix si l'hypothèse d'indépendance conditionnelle est violée, ou si les caractéristiques ne sont pas binaires. Dans de tels cas, d'autres variantes de Naive Bayes, comme le Naive Bayes multinomial, peuvent être préférées.