您是否应相信ChatGPT来处理您的业务？

为什么未来比你想象的更可怕和更乐观

马克·洛夫特斯（Mark Loftus）：我之前与我们的研究负责人丹·哈金斯（Dan Huggins）进行的讨论，在Text Alchemy的首席研究人员和经验丰富的软件开发者中引起了很大的兴趣，尤其是关于ChatGPT和其他LLM的安全问题。今天，让我们深入探讨这些问题，并将事实与虚构分开。

我们将涵盖三个主要领域：一般的安全问题，关于LLMs的具体疑虑以及更严重安全威胁的潜力。

那么，丹，为什么信息安全负责人可能不愿意使用ChatGPT呢？

Daniel Huggins: 有几个原因。首先，使用ChatGPT可能会无意间将敏感的公司和个人数据暴露给OpenAI或Microsoft的服务器。其次，这些公司目前有权审核发送给他们的数据，这引发了隐私方面的担忧。

马克·洛夫特斯：等一下，这让我吃惊。我以为他们不会这样做。

丹尼尔·哈金斯：OpenAI和微软对人工智能的潜在滥用问题非常担心，所以他们选择的解决办法基本上是记录下与他们交谈的一切内容。当他们的其他人工智能系统注意到滥用行为或可疑行为的模式时，他们将调查该用户曾经说过的所有内容，以寻找潜在的滥用行为。这意味着该用户的数据将由微软内部的人类查看，而您不知道他们是谁或来自哪里。如果一个使用OpenAI或微软的组织没有与他们签订具体协议，理论上会将其所有数据暴露给OpenAI或微软。

Mark Loftus：当您说具体的协议时，是指微软 Azure企业级协议吗？

Daniel Huggins：是的。但是只有最大的公司或与微软有着非常长历史的公司才能获得可以处理这个问题的企业级协议。

一个神话

马克·洛弗特斯：我们稍后再谈这个问题。你的第三个理由是什么？

Daniel Huggins（丹尼尔·哈金斯）：第三个原因，实际上多年来并没有发生，但仍然令一些信息安全人员担心的是，OpenAI或微软可能会利用他们输入训练其他人工智能的数据。然后，这些其他人工智能可能会将数据泄露给公众。这仍然是一种普遍存在的谬论。

我没有Azure企业账户…

马克·洛弗特：好的，那显然是个谬论。很好，那我们回到一个问题，如果你没有企业帐户应该怎么办？

丹尼尔·哈金斯：有两种方法。第一种是使用自己控制的LLM模型，比如开源模型Llama。但是，只有最先进的模型（如ChatGPT）才能做出真正酷炫的东西，所以那可能行不通。第二种技术涉及从发送的消息中剥离出大量个人身份信息。更换所有姓名、组织名称、日期等。这变得稍微复杂一些，因为某些问题可能很难在没有这些信息的情况下进行处理。但是，如果你的意图是确保OpenAI不获得敏感信息，那么你唯一的选择就是采取这种把戏的方式。

马克·洛夫图斯: 这意味着你的团队中需要有技术人员，因为仅仅要求用户记住不要输入电子邮件地址是不起作用的。

丹尼尔·哈金斯：是的，只有开发者能够实施这样的解决方案。否则，如果您想在您的组织内使用Chat GPT，您需要接受微软在某些情况下可以查看用户提交的内容。如果他们发现不良行为，他们有可能会调查该用户的一切行动，包括并不一定是坏行为的事情。

劫持提示链

马克·洛夫特斯：让我们继续下一个问题。过去12个月来，我个人写了很多提示，但是我并不知道它实际上很容易被黑客入侵。

丹尼尔·哈金斯：正如您所知，您可以使用提示工程有效地告诉生成型人工智能您想要它成为和做什么。但是问题是：有一些技术可以使生成型人工智能按照用户（可能是不良行为者）的指示行事，而不是按照其已经接受的指示行事。因此，您可以入侵它以让它做您想要的事情，而不是组织给它的指示。一个不良行为者可能想要做的事情之一就是恢复组织告诉该人工智能要做的事情——即其提示链。这些可以是相当有用的知识产权。让人工智能将其已被告知要做的事情反馈给用户是相当容易的。因此，目前还没有完全防止您的生成型人工智能被用于非预期目的的方法。

任何AI可以访问的内容，用户最终也可以获得访问权限。

加密

马克·洛夫特斯：加密在这方面有帮助吗？

丹尼尔·哈金斯：在这种情况下，加密的作用与任何其他信息安全环境中的作用非常相似。在网络和互联网上，保护用户对话数据的安全和隐私非常重要，甚至要保护其免受公司内部员工的侵犯。对用户对话数据进行加密，无论是在传输过程中还是存储中，以防止组织内部的不良分子或者只是随便看看的人意外发现组织内部与使用您服务的AI或外部人员进行的重要对话。

马克·洛夫特：比如有人发现 HR 团队正在使用 ChatGPT 来计划一轮裁员？

丹尼尔·哈金斯：没错。这就是为什么加密所有聊天记录如此重要。但这是一项常规的信息安全措施，在人工智能世界中并没有变化。

幻觉和伪造的数据泄露

Mark Loftus: 关于LLMs中的幻觉部分呢？

丹尼尔·哈金斯：Gen AI中的幻觉，即AI虚构的内容，不一定与信息安全的世界技术上联系在一起。不过，这里存在着光学或感知的问题。

AIs可以被说服编造虚假的个人信息。因此它可以看起来像是泄露了公司机密或个人身份信息，但实际上它是编造的。乍一看的观察者无法判断是否违反了信息安全原则，因此可能将其报告为重大数据泄漏。这不一定是与组织安全相关的问题，但它与形象和声誉风险有关。

不良行为者：钓鱼和恶意软件

马克·洛夫特斯：让我们再升一个级别。生成式人工智能为坏演员提供了什么可能性？

丹尼尔·哈金斯：基于文本的人工智能工具最大的好处是可能导致网络钓鱼或社交工程攻击。曾经，您至少需要一个人与目标进行对话，这限制了钓鱼活动的可扩展性，也意味着只有较大的组织才会面临社交工程攻击。

现在，您可以创建针对中小企业的自动化社会工程攻击。突然之间，您可以创建包含定制信息的自动化社会工程攻击。这意味着有人可以创建一个攻击，包含特定组织及其业务的相关信息，结果是某人将收到来自他们的老板的电子邮件 — 或者甚至是语音邮件 — 询问：‘嘿，数据库密码是什么’. 对于黑客来说，这变得更加容易了 — LLM还可以为坏演员提供生产力增益！

我认为我们还没有达到那个地步，但从长远来看，我们将开始看到人工智能编写的恶意软件。恶意行为者将拥有更强大的能力来编写恶意软件。更多没有经验的恶意行为者本来无法完成这种工作，现在将能够比以前更容易地进行更复杂的攻击。

马克·洛夫特斯：假设你向Chat GPT查询如何执行勒索软件攻击，那是行不通的吧？

丹尼尔·哈金斯：试图让Chat GPT做那种工作的幼稚尝试可能没有帮助。然而，还有其他一些AI存在，它们具有某些功能，可能可以在各种方式下被劫持，使它们执行本来不打算执行的任务。目前，还没有绝对可靠的方法来防止滥用。