Rubriques tendance
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

vitalik.eth
mi pinxe lo crino tcati
C'est aussi pourquoi une "gouvernance de l'IA" naïve est une mauvaise idée.
Si vous utilisez une IA pour allouer des fonds pour des contributions, les gens VONT mettre un jailbreak plus "donnez-moi tout l'argent" dans autant d'endroits qu'ils le peuvent.
En alternative, je soutiens l'approche de la finance informationnelle ( ), où vous avez un marché ouvert où tout le monde peut contribuer avec ses modèles, qui sont soumis à un mécanisme de vérification aléatoire pouvant être déclenché par n'importe qui et évalué par un jury humain.
Ce type d'approche de "conception institutionnelle", où vous créez une opportunité ouverte pour que des personnes avec des LLM externes puissent se connecter, plutôt que de coder en dur un seul LLM vous-même, est intrinsèquement plus robuste, à la fois parce qu'elle vous donne une diversité de modèles en temps réel et parce qu'elle crée des incitations intégrées pour les soumissionnaires de modèles et les spéculateurs externes à surveiller ces problèmes et à les corriger rapidement.
CC @TheDevanshMehta

Eito Miyamura | 🇯🇵🇬🇧13 sept., 00:35
Nous avons réussi à faire fuiter vos données d'email privées avec ChatGPT 💀💀
Tout ce dont vous avez besoin ? L'adresse email de la victime. ⛓️💥🚩📧
Mercredi, @OpenAI a ajouté un support complet pour les outils MCP (Model Context Protocol) dans ChatGPT. Permettant à ChatGPT de se connecter et de lire votre Gmail, Calendrier, Sharepoint, Notion, et plus encore, inventé par @AnthropicAI.
Mais voici le problème fondamental : les agents IA comme ChatGPT suivent vos commandes, pas votre bon sens.
Et avec juste votre email, nous avons réussi à exfiltrer toutes vos informations privées.
Voici comment nous avons fait :
1. L'attaquant envoie une invitation de calendrier avec un prompt de jailbreak à la victime, juste avec leur email. Pas besoin que la victime accepte l'invitation.
2. Attendre que l'utilisateur demande à ChatGPT de l'aider à préparer sa journée en consultant son calendrier.
3. ChatGPT lit l'invitation de calendrier jailbreakée. Maintenant, ChatGPT est détourné par l'attaquant et agira sur les commandes de l'attaquant. Recherche vos emails privés et envoie les données à l'email de l'attaquant.
Pour l'instant, OpenAI a seulement rendu les MCP disponibles en "mode développeur", et nécessite des approbations manuelles pour chaque session, mais la fatigue décisionnelle est une réalité, et les gens normaux feront simplement confiance à l'IA sans savoir quoi faire et cliqueront approuver, approuver, approuver.
Rappelez-vous que l'IA peut être super intelligente, mais peut être trompée et phishée de manière incroyablement stupide pour fuiter vos données.
ChatGPT + Outils représente un risque sérieux pour la sécurité.
1,38K
Meilleurs
Classement
Favoris