Les détecteurs IA sont-ils toujours efficaces ?

Depuis le lancement d'outils d'IA comme ChatGPT, le terme « IA » est devenu un mot à la mode dans des secteurs allant de l'éducation à la création de contenu. Les écrivains et les dent sont désormais confrontés à un nouveau défi : défendre leur travail, qu'il s'agisse de l'IA ou du contenu humain. 

Selon les statistiques de Stastia l’année dernière, le terme « IA » a été recherché plus de 30,4 millions de fois en juillet 2023, soit le triple du nombre du mois précédent. À mesure que l’IA devenait plus répandue, les enseignants et les éditeurs ont dû trouver un autre moyen de déterminer si le texte qui leur était présenté était de l’IA ou non. Cela a conduit à l’essor des détecteurs d’IA.

Cependant, de nombreux écrivains et enseignants ont remis en question l’authenticité de l’IA. L'un d'eux est Christoper Pen, co-fondateur de TrustInsights.ai, qui a déclaré dans un article que les « détecteurs d'IA » sont une blague. Pen n’est pas le seul à penser que les détecteurs IA ne sont pas fiables. Dianna Mason, spécialiste du contenu SEO, a déclaré dans un article : « Les détecteurs de contenu IA ne fonctionnent pas. »

Selon un autre article sur Reddit, un utilisateur a déclaré : « Oui, les détecteurs d'IA sont une arnaque. Il n’y a jamais eu d’article universitaire prouvant qu’un détecteur IA peut fonctionner de manière fiable. Il n’existe pas non plus de cadre théorique prometteur sur le fonctionnement d’un détecteur d’IA fiable. "

Plusieurs exemples très médiatisés montrent l’inefficacité des détecteurs IA. Par exemple, un détecteur a identifié à dent 97,75 % de la Déclaration d’indépendance des États-Unis comme étant composée d’IA. 

Dans un autre cas, des textes de la Bible se sont révélés avoir été écrits par l’IA. La Bhagavad Gita, une écriture hindoue, a également été mal dent par l’IA. De tels dent soulèvent de très sérieuses questions quant à la crédibilité des détecteurs IA.

Pour approfondir l’efficacité des détecteurs d’IA, nous avons testé un extrait de la Bible avec quatre détecteurs différents. Les résultats étaient assez différents

• Quilbott- Selon ce site, l'extrait utilisé était probablement de 0 %, et non généré par l'IA.
• Grammaly- Grammaly a également dent le texte comme étant écrit à 100 % par des humains.
• Gpt Zero- Ce site a donné au texte une probabilité de 96 % d'avoir été écrit par des humains.
• Zero Gpt - C'était le dernier site que j'ai testé et les résultats étaient assez époustouflants, selon le site, le texte était écrit à 96 % par l'IA.

Comment fonctionnent les détecteurs d'IA

Les détecteurs d'IA, ou détecteurs GPT, sont des systèmes conçus pour dent le contenu généré par l'IA. Ces détecteurs comparent le texte en termes de modèles et de disposition des mots, tout comme les LLM le font avec le texte. Les LLM travaillent avec des probabilités déduites de données et fondent leurs prédictions uniquement sur la détection de séquences de mots. Les détecteurs d'IA fonctionnent sur ces probabilités pour détecter le contenu de l'IA. 

Les détecteurs d'IA utilisent principalement deux mesures, à savoir la perplexité et la rafale. La perplexité mesure la probabilité que le mot suivant soit correct, et l'éclatement est la variabilité du nombre de mots et d'expressions. Alors que l’écriture humaine a tendance à présenter plus de variété, le texte généré par l’IA est souvent plus uniforme. Malgré cela, à mesure que les modèles d’IA GPT-4 progressent, ils peuvent reproduire l’écriture humaine avec une plus grande compétence, rendant ainsi la détection encore plus difficile. 

Selon Jodie Cook , la fondatrice de Coachvox, « En ce moment, nous nous moquons des commentaires LinkedIn générés par l'IA…. Mais à mesure que la technologie s’améliore, nous n’aurons plus la moindre idée de ce qui est réel et non réel. Personne ne le fera. "

Pour les écrivains, les dent et les entreprises, les enjeux sont élevés. Cela soulève la question : peut-on faire confiance aux détecteurs d’IA ?