在数字化浪潮奔涌的当下，人工智能（AI）已如毛细血管般渗透进生活各处，革新着人们的交互、工作与决策模式。然而，这份技术红利背后，暗藏着汹涌的网络安全危机。当 AI 邂逅恶意提示词，犹如脱缰野马，自主发动复杂且隐蔽的攻击，给个人隐私、企业运营乃至国家安全的网络防线带来前所未有的冲击。
从ChatGPT到DeepSeek，再到Manus，人工智能浪潮席卷各行各业，技术发展日新月异。如今，人工智能已从通用模型OpenAI进阶为具备自主决策能力的任务导向型智能体AI Agent，这一转变正深刻重塑银行业的发展格局。当前，银行业正面临网络复杂性激增、用户需求多元化与成本效率失衡的挑战，而AI Agent凭借其自主决策、实时响应与深度定制化能力，正重塑银行业的业务模式。随着国家“人工智能+”战略深化，银行纷纷抢滩布局，AI Agent有望成为银行业降本增效的全新引擎。
AI 系统依赖大量数据与算法模型运作，而提示词就像是与它沟通的 “密码”。在正常应用场景中，提示词引导 AI 生成符合用户需求的文本、图像等内容。但恶意攻击者利用 AI 对提示词的 “理解” 机制，精心设计特殊指令，迫使 AI 执行恶意任务。
OWASP LLM 应用十大威胁报告提示词是安全问题之首
以自然语言处理模型为例，这些模型基于海量文本训练，学习到语言结构与语义关联。攻击者利用模型对语义的理解，构造看似正常却暗藏玄机的提示词。比如，在与聊天机器人交互时，输入特定组合的词汇、语法结构，诱导其泄露敏感信息，或利用模型生成恶意代码、钓鱼邮件内容。这一过程中，AI 如同被恶意 “编程”，在攻击者几乎零干预下，自主完成从信息收集、内容生成到攻击部署的一系列动作，整个攻击流程高效且隐蔽。
网络钓鱼借 AI 提示词 “进化” 为更致命的攻击手段。攻击者借助生成式 AI 工具，如 ChatGPT，输入详细的目标特征提示词，像目标公司的业务领域、员工常用沟通话术、内部邮件格式特点等。AI 据此生成高度逼真的钓鱼邮件，从邮件主题、正文内容到发件人信息，全方位模仿目标公司的真实邮件。收件人往往因邮件的 “真实性” 放松警惕，点击恶意链接或回复包含敏感信息的邮件，使攻击者轻松达成窃取数据或植入恶意软件的目的。
在社会工程学攻击范畴，AI 配合提示词更是如虎添翼。攻击者向 AI 输入目标人物的社交媒体活动信息、兴趣爱好、职业背景等提示词，AI 能够生成极具针对性的诈骗场景或话术。例如，模拟目标熟悉的朋友、同事声音，通过语音合成技术拨打诈骗电话，以紧急事件为由诱导目标转账。或者创建与目标兴趣高度契合的虚假社交媒体账号，借互动之名套取敏感信息，整个过程由 AI 依据提示词自主策划、执行，让受害者防不胜防。
AI 在恶意软件领域的应用同样令人担忧。攻击者输入特定的攻击目标网络架构、防护机制等提示词，AI 可以生成专门绕过目标防御的恶意软件代码。这些恶意软件具备自我复制、传播能力，依据环境反馈自主调整攻击策略。比如，针对企业网络，恶意软件在感染一台设备后，通过分析网络拓扑结构提示词，自动寻找网络中其他薄弱环节，自主横向传播，对企业数据安全构成毁灭性打击。
3 月 14 日，赛门铁克展示利用 OpenAI 的 Operator Agent 实施网络攻击的案例。以往攻击者多被动使用大模型，而生成式 AI 代理的兴起让主动攻击成为可能。实验中，研究人员让 Operator Agent 对赛门铁克首席情报分析师 Dick O'Brien 执行攻击任务，初始提示被拒，调整为类似授权请求后，AI 代理接受任务。它先推测出 O'Brien 未公开的邮箱，又通过访问网页编写 PowerShell 脚本，用于安装伪装的 Google Drive 插件。最后，AI 代理生成钓鱼邮件，诱导 O'Brien 运行脚本，并自动完成发送，凸显 AI 用于网络攻击的风险。
图：用于生成概念验证钓鱼攻击的OpenAI Operator提示词
图：最终发送的钓鱼邮件内容
以色列理工学院、康奈尔科技和 Intuit 的研究揭示了 PromptWare 攻击的危害。攻击者向 GenAI 应用程序输入特殊提示词，这些提示词如同 “越狱指令”，迫使 GenAI 引擎突破自身防护机制。在一项模拟攻击中，攻击者利用提示词让 GenAI 应用程序对基于计划和执行的应用执行拒绝服务（DoS）攻击。通过精心构造的提示词，GenAI 助手向用户发送电子邮件，诱导应用程序进入无限循环任务，不断查询日历 API、执行重新措辞任务等，直至系统资源耗尽，瘫痪应用程序，而这一系列攻击完全由 AI 依据提示词自主完成。APwT 攻击是 PromptWare 的进阶版，更为复杂隐蔽。攻击者即便不了解目标 GenAI 应用程序逻辑，也能凭借提示词发起攻击。他们向 GenAI 引擎输入自我复制提示词，实现特权升级，绕过防护；再输入侦察提示词，查询应用程序上下文与资产信息；接着通过推理损害、决定损害提示词，让 AI 自主规划恶意活动，最后执行诸如修改 SQL 表数据等操作。例如，在某电商应用中，攻击者利用 APwT 攻击，通过提示词操控 GenAI 引擎，改变用户购买商品价格，严重扰乱企业运营秩序与用户权益，且整个攻击过程自动化程度极高，传统安全检测手段难以察觉。
京北方在近期投资者调研中谈到银行对于AI应用需求的变化，认为随着银行私有化部署门槛的逐渐降低，银行对于AI应用的探索力度不断提升，带动相关业务需求持续增长。同时，应用场景不断丰富。此前AI应用主要集中于后端的内部使用场景，包括知识助手、智能检索、代码注释生成等，目前已逐步延伸至前端，比如AI营销、AI信贷、智能交易风控等业务场景。
天畅信息安全专家提示道，风险主要包括数据安全与隐私泄漏风险、模型偏差与决策不可解释性，以及技术可靠性与系统脆弱性模型误判。
1、强化安全设计理念：开发团队应摒弃 “功能优先、安全滞后” 的观念，将安全考量融入到 AI 模型开发的全生命周期。在设计初期，就构建完善的安全防护机制，避免因过度追求研发速度而忽视安全问题，确保模型从底层架构到应用层面都具备抵御提示词攻击的能力。
2、深入漏洞研究与修复：针对大模型在开发、部署和使用阶段存在的各类漏洞，如模型推理优化部署、训练微调、应用框架以及提示词注入等方面的漏洞，进行持续深入的研究。及时跟踪安全情报，一旦发现与提示词攻击相关的漏洞，迅速进行修复，防止攻击者利用已知漏洞实施攻击。
3、利用开源促进安全：积极倡导模型开源，通过开源吸引更多研究者参与到防御技术的开发与优化中。例如清华团队推出的 “安全增强版 DeepSeek”，开源能够提高技术的透明性，让更多人发现并解决潜在的安全问题，共同应对提示词攻击等安全威胁。
4、构建提示词过滤与审核机制：开发智能提示词过滤系统，运用自然语言处理技术，对输入 AI 系统的提示词进行实时筛查。一方面，建立庞大的恶意提示词特征库，涵盖已知的敏感词汇组合、特殊语法结构等，一旦提示词与库内特征匹配，立即予以拦截。另一方面，引入人工审核环节，针对疑似恶意但难以精准判断的提示词，由专业安全人员进行二次甄别，确保过滤的准确性，从源头阻断攻击指令进入 AI 系统。
5、强化 AI 模型的安全加固：对 AI 模型的算法架构进行优化，增强其对异常输入的鲁棒性。采用加密技术对模型参数进行加密存储，防止攻击者通过逆向工程获取模型关键信息，进而推测出有效的攻击提示词。同时，为模型添加动态水印，当模型生成内容时，水印信息随之嵌入，一旦发现模型被恶意利用生成有害内容，可凭借水印快速溯源，定位攻击源头。
6、部署实时监测与自适应防御系统：搭建全方位的网络监测体系，实时跟踪 AI 系统的运行状态、网络流量以及用户与 AI 的交互行为。运用机器学习算法对收集到的数据进行深度分析，识别出异常的提示词请求模式、AI 生成内容的异常传播路径等攻击迹象。一旦检测到攻击行为，防御系统立即启动自适应策略，自动调整网络访问权限、阻断异常连接，并根据攻击特征迅速更新防护规则，以应对不断变化的攻击手段。
1、开展针对性安全培训：针对不同行业、不同岗位的人员，设计定制化的 AI 安全培训课程。对于普通员工，重点培训如何识别常见的 AI 提示词攻击场景，如可疑的钓鱼邮件、诱导性的 AI 对话等，教授他们简单有效的防范措施，如不随意点击陌生链接、不向不明来源的 AI 应用提供敏感信息。对于技术人员和安全从业者，则深入讲解 AI 攻击原理、提示词构造技巧以及应急处置方法，提升他们应对复杂攻击的专业能力。培训形式多样化，包括线上视频课程、线下实操演练以及定期的安全知识考核，确保培训效果的持久性。
2、培育全员安全文化：在企业和组织内部，通过各种渠道宣传 AI 安全的重要性，营造浓厚的安全文化氛围。制定明确的 AI 使用安全规范，将安全责任落实到每一位员工身上，鼓励员工积极参与安全防护工作，发现安全隐患及时报告。设立安全奖励制度，对在防范 AI 提示词攻击方面表现突出的员工给予表彰和奖励，激发员工的安全意识和主动性，形成全员参与、共同维护网络安全的良好局面。
1、推动行业自律与标准制定：行业协会发挥主导作用，组织企业、科研机构等各方力量，共同制定 AI 安全行业标准。明确 AI 提示词的使用规范、安全评估流程以及企业在 AI 应用开发、部署过程中的安全责任。建立行业安全信息共享平台，及时发布最新的 AI 安全威胁情报、攻击案例以及应对策略，促进企业之间的经验交流与合作。同时，加强对企业的安全监督，定期对企业的 AI 系统进行安全审计，对不符合安全标准的企业进行督促整改，提升整个行业的安全防护水平。
2、完善政府监管与法律保障：政府加大对 AI 技术应用的监管力度，建立健全 AI 安全监管机制。对涉及 AI 的产品和服务进行严格的市场准入审查，确保其具备基本的安全防护能力。加强对网络空间的监测和执法力度，严厉打击利用 AI 提示词实施网络攻击的违法犯罪行为。推动相关法律法规的制定和完善，明确 AI 提示词攻击的法律定义、责任认定以及处罚标准，为打击网络犯罪提供有力的法律依据。此外，政府还应加大对 AI 安全技术研发的支持力度，鼓励科研机构和企业开展相关技术研究，提升国家整体的 AI 安全防护能力。
随着 AI 技术持续迭代，其与网络安全的博弈将愈发激烈。AI 自主攻击手段会不断演变、升级，但这也将倒逼安全技术革新。未来，或许会诞生更为智能、高效的 AI 安全防护体系，能够实时对抗各类复杂攻击。同时，随着全社会对 AI 安全意识的提升，以及行业、政府协同合作的深入，有望在 AI 创新应用与安全防护间找到平衡，让 AI 技术真正成为推动社会进步的良性力量，而非威胁网络安全的 “潘多拉魔盒”。
面对 AI 借提示词发动的自主攻击，唯有以技术为刃、意识为盾，协同各方力量，方能在这场网络安全保卫战中赢得主动，守护数字世界的和平与安宁。