Ethereum-Gründer Vitalik Buterin bezeichnet „AI Governance“ als eine schlechte Idee

Ethereum-Mitbegründer Vitalik Buterin behauptet, dass es eine „schlechte Idee“ sei, künstliche Intelligenz (AI) für Governance-Zwecke zu verwenden. In einem X-Post am Samstag schrieb Buterin:

„Wenn du eine AI einsetzt, um Mittel für Beiträge zuzuweisen, werden die Leute ÜBERALL einen Jailbreak plus ‚gib mir das ganze Geld‘ einbauen, wo sie nur können.“

Warum AI-Governance fehlerhaft ist

Buterins Beitrag war eine Antwort auf Eito Miyamura, Mitbegründer und CEO von EdisonWatch, einer AI-Daten-Governance-Plattform, der einen fatalen Fehler in ChatGPT aufdeckte. In einem Beitrag am Freitag schrieb Miyamura, dass die vollständige Unterstützung für MCP (Model Context Protocol)-Tools in ChatGPT den AI-Agenten anfällig für Ausnutzung gemacht hat.

Das Update, das am Mittwoch in Kraft trat, ermöglicht es ChatGPT, sich mit mehreren Apps zu verbinden und Daten daraus zu lesen, darunter Gmail, Calendar und Notion.

Miyamura stellte fest, dass mit nur einer E-Mail-Adresse das Update es möglich gemacht hat, „alle deine privaten Informationen zu exfiltrieren“. Übeltäter können in drei einfachen Schritten Zugriff auf deine Daten erhalten, erklärte Miyamura:

Zuerst senden die Angreifer eine bösartige Kalendereinladung mit einem Jailbreak-Prompt an das beabsichtigte Opfer. Ein Jailbreak-Prompt bezieht sich auf einen Code, der es einem Angreifer ermöglicht, Beschränkungen zu entfernen und administrativen Zugriff zu erlangen.

Miyamura wies darauf hin, dass das Opfer die bösartige Einladung des Angreifers nicht annehmen muss, damit das Datenleck stattfindet.

Der zweite Schritt besteht darin, darauf zu warten, dass das beabsichtigte Opfer ChatGPT um Hilfe bittet, um sich auf den Tag vorzubereiten. Schließlich, sobald ChatGPT die gejailbreakte Kalendereinladung liest, wird es kompromittiert – der Angreifer kann das AI-Tool vollständig übernehmen, es dazu bringen, die privaten E-Mails des Opfers zu durchsuchen und die Daten an die E-Mail des Angreifers zu senden.

Buterins Alternative

Buterin schlägt vor, den Info-Finance-Ansatz für AI-Governance zu verwenden. Der Info-Finance-Ansatz besteht aus einem offenen Markt, auf dem verschiedene Entwickler ihre Modelle beitragen können. Der Markt verfügt über einen Spot-Check-Mechanismus für solche Modelle, der von jedem ausgelöst und von einer menschlichen Jury bewertet werden kann, schrieb Buterin.

In einem separaten Beitrag erklärte Buterin, dass die einzelnen menschlichen Juroren von großen Sprachmodellen (LLMs) unterstützt werden.

Laut Buterin ist dieser Ansatz des „Institution Design“ „von Natur aus robuster“. Das liegt daran, dass er Modellvielfalt in Echtzeit bietet und Anreize sowohl für Modellentwickler als auch für externe Spekulanten schafft, Probleme zu überwachen und zu korrigieren.

Während viele von der Aussicht begeistert sind, „AI als Gouverneur“ zu haben, warnte Buterin:

„Ich denke, das zu tun ist sowohl aus traditionellen AI-Sicherheitsgründen als auch aus kurzfristigen Gründen – ‚das wird einen großen wertvernichtenden Knall verursachen‘ – riskant.“

Der Beitrag Ethereum-Gründer Vitalik Buterin nennt ‚AI-Governance‘ eine „schlechte Idee“ erschien zuerst auf CryptoSlate.