Le coût élevé des mensonges bon marché

Dans ce numéro :

• Ponts de fer et machines qui mentent

• Champignons toxiques et grenouilles médiévales

• Le captcha Voight-Kampff

• Où allons-nous à partir d’ici ?

Dans mes écrits précédents sur l’intelligence artificiellej’ai été plutôt positif. Je crois en la puissance et le potentiel des outils d’IA. J’ai écrit pourquoi je ne pense pas que nous devrions avoir peur de La catastrophe de l’IA ou de Art de l’IA ou de L’IA prend le travail de tout le monde. Je pense qu’une grande partie des craintes que les gens ont à propos de l’IA sont déplacées, donc une grande partie de ce sur quoi je me suis concentré jusqu’à présent a consisté à apaiser des craintes déplacées. Ce n’est pas ce genre de post.

Le plus grand danger posé par l’intelligence artificielle est à la fois déjà présent et largement ignoré : l’IA rend moins cher et plus facile le mensonge convaincant, mais elle ne le rend pas moins cher. ou plus facile de détecter des mensonges convaincants. Nous ne sommes fondamentalement pas préparés à un monde où mentir est si puissant et si simple.

Les modèles en grand langage comme ChatGPT ou Claude ne sont pas réellement « intelligents » au sens où nous l’entendons habituellement. Ils n’ont pas de logique interne (c’est pourquoi ils se contredisent souvent) et ils ne connaissent rien du monde (c’est pourquoi ils hallucinent souvent). En réalité, ils utilisent des statistiques très sophistiquées pour décider quel mot devrait être utilisé. probablement venez ensuite dans une séquence. Les LLM ne comprennent pas vraiment les questions ou ne répondent pas vraiment à ce qu’ils en fait faire est de choisir une réponse plausible, un mot à la fois.

Des réponses plausibles (mais pas nécessairement exactes) peuvent être utiles, mais malheureusement, la façon la plus évidente dont les réponses plausibles (mais pas nécessairement exactes) sont utiles est lorsque vous avez besoin de quelque chose pour être convaincant et que vous ne vous souciez pas vraiment de savoir si c’est vrai. En première approximation, les LLM (et les générateurs d’images IA) ne sont que des machines permettant de produire à moindre coût des mensonges quelque peu convaincants. Cela les rend naturellement utiles aux menteurs, en particulier aux menteurs non qualifiés ou à toute personne souhaitant mentir à l’échelle industrielle.

Les outils d’IA seront utilisés pour réaliser des choses incroyables en matière de productivité et d’art – mais ils seront d’abord utilisés pour mentir, mentir et mentir. Cela se produit déjà depuis un certain temps : en 2022, la Russie a libéré une vidéo deepfake prétendant montrer le président ukrainien Volodymyr Zelensky se rendre et appelant les soldats à déposer les armes. En 2023, des idiots imprudents utilisaient l’IA pour générer (et vendre) guides de recherche de champignons défectueux. Plus tôt cette année une équipe de criminels a utilisé des deepfakes pour simuler un appel vidéo complet rempli de collègues (y compris le directeur financier) pour tromper un employé d’une société financière de Hong Kong afin qu’il lui envoie 25 millions de dollars.

Ces premières tentatives visant à utiliser l’IA de manière trompeuse sont dangereuses, mais elles sont également très primitives. Les criminels intègrent encore naïvement l’IA dans des escroqueries existantes qu’ils savent déjà commettre. L’IA peut rendre ces attaques moins coûteuses et plus efficaces, mais ce n’est que le début. Prédire l’impact de la technologie de l’IA en estimant dans quelle mesure elle accélère les comportements existants revient à prédire l’impact du courrier électronique en estimant dans quelle mesure elle accélère le courrier physique. Les moyens les plus dangereux et les plus efficaces d’utiliser l’IA de manière trompeuse n’ont pas encore été découverts.

Le marché des idées est un champ de bataille et les outils d’IA constituent une toute nouvelle classe d’armes. Nous ne savons pas encore vraiment comment les utiliser lors d’une attaque ni comment nous défendre contre ces attaques lorsqu’elles surviennent. Beaucoup de nos institutions et pratiques devront être entièrement reconstruites pour résister à ces nouvelles forces – et toutes ne survivront pas dans cette nouvelle ère.

Les outils d’IA réduisent radicalement le coût de production de textes et d’images. Cela signifie que les personnes productives produiront davantage ! Mais cela signifie également que les personnes improductives produiront également davantage. Il y a quelques années, produire une image d’une grenouille dans le style d’un manuscrit médiéval demandait beaucoup d’efforts – donc si vous trouviez une image d’une grenouille dans le style d’un manuscrit médiéval, il y avait de fortes chances qu’elle soit en fait était d’un manuscrit médiéval. Il a toujours été possible de contrefaire des images de grenouilles médiévales, mais qui s’en soucierait ? Ce serait tellement d’efforts inutiles.

Maintenant, bien sûr, produire un lot d’images de grenouilles médiévales est aussi simple que de taper /imaginez une grenouille dans un manuscrit enluminé médiéval et en cliquant pour réexécuter l’invite autant de fois que vous le souhaitez. Jusqu’à très récemment, la grande majorité de l’art médiéval des grenouilles était dessinée par des artistes médiévaux. Mais soudain, c’est le contraire qui se produit. Si vous recherchez sur Google « grenouille manuscrite médiévale », vous êtes désormais plus susceptible de rencontrer un mimétisme de l’IA que de l’art médiéval réel.

Ce n’était pas malveillant. Il n’y a aucun profit à contrefaire l’art médiéval des grenouilles. Il est fort probable que les personnes qui ont créé ces images n’essayaient même pas de tromper qui que ce soit ! Ils s’amusaient probablement juste. Mais c’était donc il leur est beaucoup plus facile de créer de nouvelles grenouilles que cela a inondé Internet. Rechercher et comprendre réel L’art médiéval de grenouilles en ligne est désormais beaucoup plus difficile – et cela pourrait le rester pour toujours.

De toute évidence, l’art médiéval des grenouilles n’est pas le problème le plus urgent de notre époque, mais toutes les fausses informations ne sont pas également inoffensives. Amazon a du mal avec les livres générés par l’IA prétendant être des guides de recherche de champignons et il y a des applications iOS et Android qui prétendent utiliser l’IA pour identifier les champignons sauvages. Les recherches ont testé trois de ces applications et ont trouvé le plus performant des trois champignons toxiques identifiés dans environ 44 % des cas. Pas génial !

Cependant, ce ne sont pas seulement les informations de vie ou de mort qui en souffriront : il existe un nombre trompeusement important d’écosystèmes qui reposent sur le fait que la création de contenu nécessite de gros efforts pour maintenir leur qualité élevée. Reddit et Wikipédia sont déjà tous deux aux prises avec la montée en puissance du contenu généré par l’IA – dont une grande partie est en fait bien intentionnée !

Autrefois, si quelqu’un écrivait un article long et détaillé sur un sujet obscur, vous saviez au moins qu’il y avait consacré des efforts. Cela ne garantissait pas nécessairement la qualité (évidemment), mais cela limitait la quantité totale de contenu que les modérateurs étaient invités à examiner. Avec les LLM, il est désormais plus facile de générer un article long et détaillé que d’en lire un ! Nous n’avons tout simplement aucune idée de la manière de modérer le contenu dans un monde où le contenu est infini.

Les communautés en ligne comme Reddit et Wikipedia ne sont pas les seuls écosystèmes qui dépendent d’une modération évolutive. Les tribunaux, par exemple, comptent sur les efforts nécessaires pour intenter une action en justice pour limiter le nombre total de poursuites qu’ils doivent gérer. Nous devrons peut-être utiliser l’IA pour pouvoir filtrer et traiter toutes les poursuites qu’elle générera. Ou cela peut devenir plus étrange : si l’IA devient un moyen populaire de communiquer avec beaucoup plus de personnes, alors les gens se retrouveront avec beaucoup plus de communications entrantes. Ils auront peut-être besoin de l’aide de l’IA pour traiter et répondre à tout cela !

Nous pouvons commencer à nous poser des questions difficiles sur le degré d’implication d’une personne dans la construction d’un message pour que celui-ci soit efficace. vraiment être d’eux. Cela se produit déjà en marge : les grands comptes OnlyFans emploient des nègres pour répondre à tous leurs messages privés et cultiver un sentiment d’intimité avec leurs clients. Je pense qu’ils utilisent déjà (ou utiliseront bientôt) les LLM pour le faire encore plus facilement et à moindre coût. Au fil du temps, je m’attends à ce que chaque personnalité publique souhaitant cultiver l’intimité avec un public fasse quelque chose de similaire : célébrités, politiciens, marques d’entreprise, etc.

Ça va devenir bizarre ! Imaginez que chaque candidat à la présidentielle diffuse des publicités demandant à rejoindre le groupe de discussion privé avec lequel vous échangez des mèmes génials. Kylie Jennerle Phillie Phanatic et Taco Bell. Finalement, nous allons probablement commencer à ne plus savoir qui sont les vrais humains.

Un étrange petit rituel de ce moment de l’histoire est la façon dont vous avez parfois besoin de rassurer poliment un site Web que vous êtes bien un véritable humain. Si vous êtes l’un de mes lecteurs d’intelligence naturelle, vous avez probablement dû le faire vous-même récemment en cochant une case comme celle-ci :

Nous n’y pensons généralement pas de manière formelle, mais les CAPTCHA comme celui-ci sont essentiellement de petits tests de Turing. C’est ce que signifie le « T » dans CAPTCHA : Ccomplètement UNautomatisé P.publique TUn test urgent pour dire Cordinateurs et Hles humains UNpartie. Traditionnellement, ils fonctionnent en demandant aux humains de faire quelque chose que les ordinateurs ne sont pas capables de faire – mais nous manquons rapidement de tâches que les ordinateurs ne peuvent pas faire. Il est fort possible qu’à l’avenir, la seule façon d’être sûr que quelqu’un est humain sera d’être sûr lequel individuel humains, ils le sont réellement. Malheureusement, cela va aussi devenir plus difficile.

Traditionnellement sur Reddit, vous pouvez vérifier un compte en publiant une photo de vous tenant une note manuscrite avec votre nom d’utilisateur. Publier une photo auto-référentielle est un moyen simple de prouver que la personne sur la photo et la personne qui gère le compte sont les mêmes – ou à tout le moins coopèrent étroitement. Une vérification plus formelle (comme pour les sites de jeux de hasard ou la livraison d’alcool) implique généralement de présenter une pièce d’identité gouvernementale comme un permis de conduire ou un passeport. Aucune de ces stratégies ne survivra à l’adoption généralisée des générateurs d’images IA.

Il n’est pas clair si nous allons mettre à jour vers des CAPTCHA encore plus sophistiqués et complexes ou abandonner toute l’approche et passer à autre chose. Ce qui est clair, c’est que les protections que nous avons mises en place pour sauvegarder les actions et les informations fiables sont fonctionnellement obsolètes. Nous devrons construire quelque chose d’entièrement nouveau pour les remplacer.

Honnêtement, je n’ai aucune idée de ce à quoi cela pourrait ressembler.

Le monde dans lequel nous vivons aujourd’hui a été construit sur l’hypothèse que le contenu était difficile à créer et donc traiter la plupart des contenus comme présumés vrais était une heuristique raisonnablement efficace. Il était beaucoup plus facile de prendre une photo que de simuler une photo, donc la plupart des photographies étaient authentiques, il était donc raisonnable de supposer que toute photographie que vous voyiez était authentique. Ce n’était pas aussi simple pour l’écriture, mais la difficulté d’écrire un texte réfléchi et intelligent signifiait au moins que seules des personnes réfléchies et intelligentes pouvaient le faire.

Nous ne pouvons plus nous fier à ces hypothèses. Il est désormais moins coûteux et plus facile de demander à une IA d’halluciner une photo plutôt que d’en prendre une, et bientôt la majorité des photographies seront générées par l’IA plutôt que prises dans le monde réel. Les mensonges sont désormais moins chers, plus convaincants et plus abondants que jamais. Nous devrons supposer que les images (et la vidéo, le texte, etc.) que nous voyons sont malhonnêtes par défaut.

Sans intervention, les photographies et les vidéos perdront la même valeur probante que les témoignages oculaires. Je m’attends fortement à ce que les téléphones portables et les appareils photo numériques commencent à signer cryptographiquement les images qu’ils capturent et que les fabricants d’appareils photo cherchent à se différencier en rendant leur technologie de signature difficile à briser. Cela ne fera pas d’images digne de confiance mais cela augmentera la difficulté des contrefaçons, rendant à nouveau certains scénarios viables.

Nous aurons besoin de rituels de signature similaires dans de nombreux autres endroits : des phrases secrètes pour que les membres de la famille puissent se reconnaître en toute confiance lors de réunions en ligne, une utilisation beaucoup plus répandue de l’authentification à deux facteurs, un retour à des interactions de haute sécurité se déroulant dans le monde réel plutôt que dans le monde réel. en ligne, etc. Nous constaterons peut-être qu’un grand nombre de ressources d’information que nous tenions pour acquises (comme Wikipédia) ne sont plus durables.

Un monde où mensonges et vérité sont profondément difficiles à distinguer n’est pas sans précédent, il est plus proche de la normale historique. Pendant la majeure partie de l’histoire de l’humanité, la connaissance a été difficile à séparer de manière significative du mythe ou de la rumeur. L’avenir de la vérité pourrait ressembler beaucoup à un retour vers le passé. L’époque où il était plus facile de documenter la vérité que de la fabriquer était, rétrospectivement, assez brève et fragile.

Je soupçonne que cela nous manquera.