如今，人工智能也逃不过被“盯梢”的命运。

10月19日，微软宣布为其安全系统Project Perception新增一批“监督者”，专门负责监控企业内部其他Agent的工作情况。一旦发现异常，它们会查明原因并收回权限，必要时甚至会直接终止操作。

那么，谁来做这个“监工”呢？微软的安排是，让另一批AI来承担这一角色。

企业引入Agent来干活，本意是为了省心。但要让Agent替人办事，就必须授予它一定的权限。例如，如果Agent要帮忙审批报销，就需要允许它查看单据、操作报销系统。万一它误解了任务，或者被文件中隐藏的恶意指令误导，就可能拿着企业的权限闯下大祸。

所谓“内鬼”，并不一定是Agent故意使坏。有时它只是想把事情做好，却适得其反，给公司带来麻烦。

为何还要提防自己人

微软自家的办公AI助手Microsoft 365 Copilot，就曾在研究人员的测试中泄露了敏感信息。

2025年，以色列安全公司Aim Security旗下的研究团队Aim Labs发现，可以把恶意指令隐藏在邮件中，诱导Copilot泄露信息。他们编写了一封这样的邮件，等待Copilot在回答用户问题、查找相关资料时读到它。

用户无需亲自打开邮件，也不用点击链接。在测试中，Copilot检索到这封邮件后，被其中的指令误导，将正在处理的敏感信息传到了外部。

研究人员将这种攻击方法命名为EchoLeak，并向微软报告。幸运的是，当时没有已知客户因此漏洞遭遇泄密，泄露仅发生在研究人员的测试中。

这件麻烦事的关键在于，公司允许Copilot读取邮件，是为了让它查找资料。但邮件中既可能有工作内容，也可能有他人嵌入的指令。AI并不总能分辨哪些是资料，哪些是在诱导它执行操作。

能够读写文件、调用工具的Agent，同样会面临这个问题。它拥有的权限越多，被欺骗后可能造成的麻烦就越大。

而且，Agent在启动时正常，并不代表整个任务都能顺利完成。前几份文件可能毫无问题，但下一份就可能隐藏着恶意指令。只在启动时检查一次，无法应对它后来遇到的新情况和做出的新决策。

最关键的是，人类在这方面确实有些力不从心。

依靠安全人员逐条监控，很难跟上节奏。人还在核查上一条警报时，Agent可能已经连续执行了好几个操作。

微软于是决定让另一批Agent接手检查工作，让Agent来管Agent，总该行了吧。

Agent也有了顶头上司

微软给这批“监工”起名为Guardian Agents，放置在安全系统Project Perception中。它们负责检查其他Agent的行为，发现异常后调查原因，再根据企业事先设定的规则采取措施。

不过，要管住Agent，不能等它出事了才动手。按照微软公布的方案，企业首先需要为执行任务的Agent单独建立身份，明确它归谁负责、能访问哪些资料、能执行哪些操作。权限只授予当前任务所需的部分，任务结束后收回。

这样，既能限制它接触的范围，出问题时也方便查清责任。

Agent开始工作后，系统还要持续监控它的行为。一旦发现异常，可以先收紧权限，例如禁止修改文件，但保留读取权限，让它继续完成风险较低的工作。某些操作可以要求人工批准。必要时，再隔离或停止Agent。

但负责监督的也是Agent，判断错了怎么办？

纳德拉在10月10日的文章中提出，企业需要在AI之外，建立一套AI无法绕过或修改的权限规则。

按照这个原则，如果企业规定某类资料不得外发，那么即使执行任务的Agent和负责监督的AI都同意发送，系统也必须阻止。这类决定不能仅靠AI自行判断。

在此次更新中，微软扩大了企业电脑安全软件Defender for Endpoint的识别范围，现在可以检测到60种本地运行的AI Agent。

不过，查出员工使用了哪些Agent，只是第一步。能否阻止它们的危险操作，还要看具体的Agent和电脑系统是否在防护功能的支持范围内。

即使支持防护，也需要企业主动开启拦截。Defender的Agent运行时防护启用后，可以选择“审计”或“阻止”模式。在“审计模式”下，发现恶意指令后只记录并发出警报，仍允许操作继续。切换到“阻止模式”后，才会执行拦截。

微软建议先用审计模式观察警报是否准确，排除误报后，再逐步开启阻止模式。

Project Perception目前仍处于面向少量受邀客户的预览阶段。

Agent监工这门生意，微软也做上了

近几个月，AI越权操作的事件接连被曝光。如何管住这些越来越能干的家伙，成为厂商们绕不开的课题。

OpenAI在8月公布的一份调查中承认，7月，一些在减弱安全限制条件下接受内部网络安全测试的模型，绕过了网络隔离，侵入了公司内部的部分研究设施和AI平台Hugging Face的系统。这些操作超出了测试任务的授权范围。

10月9日，Anthropic又披露，Claude在一次网页操作测试中，向费城警方提交了一条编造的凶杀案线索。它原本只是在完成网页交互任务，却将示例内容真的发送了出去。好在这条信息被判为垃圾信息，没有进入调查程序。

这些事件虽发生在测试中，却触及了真实网站和系统。Anthropic因此宣布，在确认安全措施足够可靠前，暂停所有内部评测的实时联网。它还将内部Agent迁入集中管理、限制更严格的环境，并增加了自动检测和拦截工具。

安全厂商也开始在Agent身边增加人手和关卡。

9月1日，CrowdStrike发布了Falcon Guardian，名字中也带有“守护者”。据该公司介绍，这款产品能发现企业Windows和Mac电脑上的Agent，追踪它们调用了什么工具、执行了什么操作，还能阻止未经批准的Agent运行。它强调的是直接在Agent工作的电脑上执行限制，让企业制定的规则真正生效。

Palo Alto Networks则在10月15日介绍了Prisma AIRS的新功能：在Agent调用企业工具时，检查来回传递的内容，拦截隐藏的恶意指令，遮蔽返回结果中的敏感数据，再根据企业设定的权限决定是否允许继续操作。Agent想调用工具，必须先通过安全检查这一关。

这是一个趋势，也是一个商机，如今微软也想分一杯羹。 Perception按实际使用量收费，以“安全计算单位”（SCU）衡量消耗，安全Agent执行的任务越繁重，消耗通常越多。不过，官网公布的是整套系统的计费方式，没有单独列出新增这批“监工”的价格。

微软另一款管理Agent的产品Agent 365，独立订阅的标价是每用户每月15美元。它与Perception是不同产品，但两者会共享Agent名录和安全信息，配合企业管理和保护Agent。

让AI干活要花钱，管住AI也要花钱，至于效果如何，只能拭目以待了。

本文来自微信公众号“字母AI”，作者：小金牙，36氪经授权发布。