本周，日本川崎一名 25 岁男子因涉嫌使用生成式 AI 工具制作勒索软件而被捕，这可能是日本首例此类 AI 越狱案。

日本广泛报道了 Ryuki Hayashi 被捕的消息，这是攻击者突破人工智能护栏的最新例证，这已经成为黑客和网络安全研究人员的一种痴迷。

就在本周，德国 CISPA 亥姆霍兹信息安全中心的研究人员报告了他们破解 GPT-4o 的努力，GPT-4o是 OpenAI 两周多前发布的最新多模态大型语言模型 (MLLM) 。这些研究人员和其他研究人员提出的担忧促使 OpenAI 本周成立了一个安全委员会，试图解决人工智能风险。

AI越狱工具和方法尚不明确
关于 Hayashi 被捕的新闻报道缺乏有关他用于创建勒索软件的工具和方法的详细信息。

《日本时报》报道称，前工厂工人 Hayashi“并不是恶意软件专家。据称，他在网上学习如何向人工智能工具提问，从而获取有关如何创建恶意软件的信息。”

据该报报道，警方于 3 月份逮捕了 Hayashi，理由是“他涉嫌使用假身份信息获取以他人名义注册的 SIM 卡”。自此，Hayashi 便受到怀疑。

《日本新闻》报道称，林某目前失业，并称警方在 3 月份逮捕林某后，在其电脑上发现了“自制病毒”。

新闻称，警方怀疑他“利用家用电脑和智能手机，结合去年 3 月向几个生成式人工智能系统发出指令后获得的有关创建恶意软件程序的信息”。

新闻报道称，Hayashi“据称向人工智能系统发出指令，同时隐瞒其创建病毒的目的，以获取加密文件所需的设计信息并索要赎金。”“据说他曾在网上搜索非法获取信息的方法。”

据报道，Hayashi 在审讯中承认了这些指控，并告诉警方，“我想通过勒索软件赚钱。我认为只要我让人工智能帮忙，我就能做任何事情。”

据该新闻报道，目前尚未有关于他创建的勒索软件造成损失的报告。

LLM越狱研究升温
随着人工智能越狱和攻击技术的研究不断发展，最近出现了许多有关风险和可能的解决方案的报告。

在本周发布到 arXiv 的一篇论文中，CISPA 的研究人员表示，他们通过一种被他们称为 VOICEJAILBREAK 的攻击，将对 GPT-4o 语音模式的攻击成功率 (ASR) 提高了一倍以上，“这是一种新颖的语音越狱攻击，它将 GPT-4o 人性化，并试图通过虚构的故事讲述（设置、人物和情节）来说服它。”

加州大学伯克利分校的研究人员于 2 月份发布的另一篇 arXiv 论文研究了与 Microsoft Copilot 和 ChatGPT 等 GenAI 工具相关的一系列风险，以及可能的解决方案，例如开发“AI 防火墙”来监控并在必要时更改 LLM 输入和输出。

本月初，OT 和 IoT 安全公司 SCADAfence概述了各种 AI 工具、威胁行为者和攻击技术。除了 ChatGPT 和 Google Gemini 等通用用例聊天机器人外，该报告还研究了为恶意目的创建的“暗 LLM”，例如 WormGPT、FraudGPT、DarkBERT 和 DarkBART。

SCADAfence 建议 OT 和 SCADA 组织遵循最佳实践，例如限制控制系统的网络暴露、修补、访问控制和最新的离线备份。

文章原文链接:https://www.anquanke.com/post/id/296953