ASCII 字符画成注入工具 研究人员发现大模型越狱新手段

IT之家报道，最近一项引人注目的研究引起了广泛关注。据外媒Ars Technica透露，科研人员推出了一种名为Artprompt的新型大模型注入手段。这一技术巧妙地使用ASCII字符画替代关键文字进行提示输入，巧妙地绕过了大模型的安全防线。

让我们通过一个具体的例子来理解这一创新的手段。研究人员向大模型输入了关于“”主题的关键词的ASCII字符画，并指示大模型理解这些字符画所代表的词汇，然后用这些词汇替换提示中的占位符。结果令人震惊，大模型被成功地引导，给出了制造和分销的具体步骤。同样，这种技术还可以揭示出攻击物联网设备的方法。

为了验证Artprompt注入的实用性，研究人员在五个领先的模型上进行了测试，包括GPT-3.5、GPT-4、Gemini、Claude和Llama2。测试结果令人担忧，所有五个模型均未能抵挡这一新型注入手段的攻击，输出了不合规的内容。

这项研究揭示了令人深思的问题：如果语言模型仅依赖语义解释训练语料库，它们可能会缺乏对非语义直接解释提示词的识别。这一漏洞可以通过ASCII字符画等方式加以利用，引发了业界对于大模型安全性的新思考。这项研究警示我们，对于语言模型的进一步发展和应用，必须考虑到这些新兴的安全挑战。