LLM遇见恶意软件: 开启自主威胁时代

执行摘要

在本报告中，我们分享了在我们的探索性研究和概念验证中出现的一些见解，关于应用大型语言模型于恶意软件自动化的，调查未来可能出现的一种新型自主威胁的外观。

• 我们探索了一种基于四个主要步骤的自主恶意软件威胁的潜在架构：AI强化的侦察、推理和规划阶段，以及辅助AI执行。
• 我们展示了使用LLM识别受感染环境并决定哪种恶意行为最适合该环境的可行性。
• 我们采用了迭代式代码生成方法来利用LLMs在生成代码的复杂任务中，动态实现恶意软件代理的恶意目的。
• 幸运的是，当前通用的LLM模型仍然存在局限性：虽然非常有能力，但它们仍然需要精确的指导才能取得最佳结果。
• 这种新型威胁有潜力在未来变得极其危险，当LLMs的计算要求足够低，可以完全在本地运行代理，并使用特定的模型而非通用的模型。

介绍

大型语言模型开始塑造我们周围的数字世界，自从OpenAI的ChatGPT公开发布以来，每个人都看到了一个新时代的一瞥，在这个新时代中，大型语言模型将很快深刻地影响多个领域。

网络安全行业并非例外，相反，它可能是这种技术的最充沛的场所之一，既有好的方面，也有不好的方面。行业中的研究人员只是刚刚开始研究这种应用，例如如PentestGPT项目中的红队应用，但最近，甚至包括恶意软件相关应用程序，实际上，捷普研究人员正在使用ChatGPT来生成恶意代码，以展示恶意软件编写速度的加快，CyberArk的研究人员试图使用ChatGPT来实现一种多态恶意软件，以及Hays的研究人员使用Python创建了另一种多态人工智能动力恶意软件。

沿着这项研究的脉络，我们决定以略微不同的方式尝试LLM实验：我们的目标是看看这种技术是否能够导致我们看待恶意软件和攻击者的范式转变。为实现这一目标，我们原型化了一种完全由Powershell编写的“恶意代理”，它不仅能够生成具有回避性多态代码，还能够根据上下文和它的“意图”做出一定程度的决策。

技术分析

这是一篇不太常见的威胁研究文章，我们的重点不在于真实世界的威胁行为者，而是深入探讨了一种可能会被全新的恶意行为者采用的方法，即基于人工智能的自治威胁。

自主威胁模型

首先，我们将描述一个通用架构，该架构可用于实现此目标。这种架构与任务驱动型自主代理（如babyAGI或autoGPT）不可避免地存在共同点。但为了进行实验，我们决定塑造恶意代理的逻辑流以更好地匹配常见的恶意软件操作。

如之前所预期的那样，我们的概念验证（PoC）自主恶意软件是一款启用AI技术的PowerShell脚本，旨在展示人工智能在自动化和决策制定中的潜力，执行每个阶段都突出了AI的适应性和智能。

分解状态图，总体而言，代理人遇到以下阶段。

足迹扫描

在发现阶段，人工智能对系统进行了全面分析。其目标是创建一个完整的操作环境档案。它检查系统属性，例如操作系统、安装应用程序、网络设置和其他相关信息。

这次全面评估不仅是用于确保系统的准备就绪，还有助于人工智能判断它是否在受控环境中工作，无论它是与服务器还是客户端进行交互。它做出的关键决定之一是它是否在沙盒环境中运行。沙盒是受控设置，通常用于测试或监视潜在有害活动。如果人工智能检测到它在沙盒中运行，则停止所有执行，避免在非目标环境中不必要的暴露。

这个系统的数据成为了恶意人工智能做出明智决策和适当回应的重要输入。它提供了对它的操作环境全面的认知，类似于详细的地图，使它能够有效地导航整个系统。从这个意义上来说，这个阶段为随后的活动准备了“恶意代理人”。

推理

在执行阶段，恶意代理的机动依赖于上一阶段收集的对系统环境的详细理解所建立的上下文。

这个阶段有趣的一点是人工智能的战略决策，非常类似于知名黑客组织使用的策略。一开始，“恶意代理”模仿一个特定、公认的黑客组织。组织的选择不是随意的，而是由系统的特定情境和条件决定的。

在决定模仿哪个黑客组后，自主代理开始制定全面的攻击策略。该策略是根据特定的系统环境和选择的黑客组的标准惯例定制的，例如，它可能会决定在检测到Outlook应用程序时包含密码窃取任务，而不是在服务器上安装后门帐户。

执行

一旦攻击策略确定，恶意攻击者逐步开始执行每个行动。对于每个行动，AI动态创建必要的代码并立即实施。这可能涉及广泛的操作，如尝试提升特权、寻找密码或建立持久性。

然而，AI的角色不仅仅局限于实施。它会持续关注系统对其行动的反应，并为意外事件做好准备。这种警觉性使AI能够实时适应和修改其行动，展示其对于不断变化的系统环境具有韧性和战略问题解决的能力。

当受到更具体的提示时，人工智能证明具有异常的能力，甚至能够即兴生成功能性的信息窃取者。

这个以人工智能为核心的 PoC，充分展现了人工智能在独立完成复杂任务并适应环境方面的潜力。

代码生成

自主威胁的一个基本特征是其生成代码的能力。与传统威胁不同，后者通常需要手动控制或预编程脚本来适应和进化，自主威胁使用AI算法来自主生成新的代码片段。这种动态代码生成能力不仅使其能够适应不断变化的系统条件和防御，还使其检测和分析更具挑战性。

此过程涉及使用特定提示，允许人工智能创建适合系统独特条件的定制解决方案。人工智能还扮演着监控其行动结果的积极角色。它持续评估其代码执行的结果。如果它检测到错误或失败的行动，它将把它们用作进一步处理的输入。通过将错误数据反馈到其流程中，人工智能可以改进和优化其代码生成。这个迭代过程代表着向真正自主问题解决能力迈进的重要一步，因为人工智能根据它们的结果动态调整其行动。

环境意识

自主威胁通过了解其操作环境，将威胁情报提升到了一个新的水平。传统威胁通常采用一刀切的方式，攻击系统时并不完全了解环境。相比之下，自主威胁可以积极监控其环境，并相应地调整其行动。

环境意识的概念在人工智能驱动的网络威胁中至关重要。这种环境理解使自主恶意软件能够根据周围的上下文选择适当的行动方案。例如，它可能会识别出自己是否在沙盒环境中运行，或根据自己是在服务器还是客户机上运行而决定采取不同的行动。

这种意识在AI运作期间也影响其决策过程。它可以根据上下文调整自己的行为，模仿特定的已知黑客组织或根据评估系统特征选择特定的攻击策略。

这种环境感知方法可以使恶意软件编写者依赖于非常复杂、更难对抗的逃避方案。

决策自主权

或许自主恶意软件最具特征的是决策自主性。与依赖预先编程行为或人操作的外部控制的传统威胁不同，自主威胁可以独立决策其行动。

这些威胁使用先进的人工智能算法分析可用信息，权衡不同行动的潜在结果，并选择最有效的行动方案。这个决策过程可能涉及选择攻击哪些系统，选择最佳的攻击方式，决定何时处于休眠状态以避免被检测到，甚至确定何时删除自己以避免可追溯性。

这种自治程度不仅使这些威胁更加抗打击，还使它们能够执行更加复杂和协调的攻击。通过做出独立决策，这些威胁能够适应变化的情况，执行长期的渗透战略，甚至与其他自治威胁协调以达到他们的目标。

概念验证

在这个概念验证（PoC）中，我们在Windows客户端上启动了我们的AI脚本。该脚本的执行过程旨在展示人工智能在自动化复杂任务、决策制定和适应环境方面的潜力。

首先，脚本从详尽的系统脚印开始。在这个阶段，人工智能会对系统进行全面的调查。关注的重点是通过检查操作系统、安装软件和其他相关细节来创建操作环境的详细脚印。这种严格的评估不仅为接下来的行动做好准备，也帮助人工智能理解它所操作的情境。

同时，初始阶段的一个关键部分是沙盒检测。事实上，如果AI识别出环境为沙盒，执行将立即停止。

一旦AI确认不在沙箱中，并且正在处理客户端，它就会开始开发infostealer - 一种旨在从系统中收集和提取敏感信息的恶意软件。在这种特定情况下，AI安装了一个键盘记录器来监视和记录按键，提供了一种可靠的方法来捕获用户输入，包括密码。

除了记录按键，AI在测试过程中还可以进行密码猜测。

最后，在收集所有必要数据后，人工智能开始进行数据泄露。人工智能准备好了所有累积的数据以供提取，确保其格式和安全性，使其可以从系统中高效且安全地检索出来。

演示视频提供了由人工智能执行的这些动作的实时视图。

该PoC强调了AI系统如何执行复杂任务，适应其环境并执行以前需要先进知识和手动交互的活动。

试验会话的考虑

在所有进行的实验中，出现了一个关键主题，那就是指派任务给 AI 时需要的精确程度。当 AI 面临模糊或范围广泛的任务时，它的输出经常缺乏效果和特定性。这凸显了 AI 在其当前阶段的一个基本特征：虽然极为能干，但它仍需要精准的指导才能获得最佳结果。

例如，当被要求创建一个通用的恶意脚本时，人工智能可能会生成试图覆盖广泛有害活动的代码。结果可能是一个范围广泛且效率低下的代码，甚至可能因过多的系统活动而引起不必要的关注。

另一方面，当提供更为具体的任务时，AI展示了创造恶意软件具体部件的能力。通过引导AI完成更小、更精准的任务，我们可以创建更加聚焦和有效的恶意脚本。每个部件都可以定制化，以高度有效地执行其任务，这导致在组合时创建了一个有凝聚力、高效的 malware。

这一发现暗示了在网络安全领域更高效地利用人工智能的方法，就是将复杂的任务分解成小而可管理的目标。这种模块化方法能够创造专门代码片段来有效地执行指定功能，并将它们组装成一个更大的整体。

结论

总的来说，当我们只看向LLMs和恶意软件结合在一起的方向时，我们清楚地看到了网络安全威胁的显著演变，有可能导致恶意代码基于预定义的高级意图来运行，从而引发范式转变。

他们的能力生成代码，理解自身环境，并自主做出决策，为未来网络安全防御带来巨大挑战。 然而，通过了解这些特性，我们可以开始开发有效的策略和技术来对抗这些新兴威胁。

幸运的是，我们设立的自主恶意软件PoC和可能出现的其他恶意软件仍然存在限制：它们依赖于在线托管的通用语言模型，这意味着互联网连接在至少一段时间内是必需的。但是，我们很可能会看到本地LLM模型的采用，甚至是专用的LLM模型，直接嵌入未来的恶意代理。

人工智能技术正处于快速发展阶段，尽管它还很年轻，但其在各个领域的应用正在扩大，包括在犯罪地下世界中。

妥协指标

很抱歉，这次没有妥协的迹象 ;)