信息安全知识库 vipread.com
信息安全知识库信息安全资料,等级保护资料,信息安全资料下载,信息安全实验资料 ,vipread,信息安全,安全文档,文档报告,文档分享,会议资料,安全加固
本文链接 《XCon×HG议题:数字人安全攻防白皮书》系统梳理了数字人直播、AI伴侣到元宇宙应用的完整生态架构,揭示提示词注入、TTS语音伪装、Deepfake身份伪造、供应链投毒等十大攻击面及真实案例;并给出覆盖模型、数据、内容、应用到基础设施的五层防御体系,为企业在爆发式增长中守住品牌、资金与合规红线。
本文链接 《Prompt Hacks:终极指南》系统梳理了生成式 AI 面临的提示注入、越狱等攻击手法,并给出10类威胁模型与对应防御方案。文件揭示了 LLM 无法区分系统指令与用户输入的根本原因,展示攻击者如何通过角色扮演、故事编造、编码混淆、令牌注入等方式窃取数据或输出有害内容;同时提供红队演练、语义防火墙、实时观测、合规审计等落地策略,帮助企业守护品牌、资金与运营安全。NeuralTrust 的 AI Gateway、自动化红队、可观测平台三大工具贯穿始终,为零信任架构下的 AI 部署提供一站式解决方案。
本文链接 汪玉凯教授在《西湖论剑》指出:数字经济正成为新质生产力的核心引擎,其关键在于平台、数据、互联共享三大新要素的协同放大。报告聚焦“制造强国”主战场,提出以“人工智能+工业互联网”提升智能制造水平;通过数据要素“流动—交易—价值实现”五大主体闭环,释放倍增效应;同时警示网络安全与算力一体化仍是瓶颈。政府应回归法治与政策营造,让市场与民营企业担当主角,方能在2025年把数字经济占比从当前水平拉升至10%。
本文链接 龚克在《西湖论剑》提出:以人工智能为“使能技术”,在信创安全底座之上实现绿色化与数字化协同转型。报告呼应联合国“AI for SDGs”决议,强调大模型即服务(MaaS)降低门槛,通过智能监测、治理、决策重塑能源、制造、环保全链条;同时以信创自主可控保障数据与模型安全,助力中国抢占绿色新质生产力制高点。
本文链接 邬江兴院士指出,数字经济时代数据成为关键生产要素,但“存储程序控制”的先天基因缺陷使网络空间安全威胁愈演愈烈。为此提出中国原创的“内生安全+拟态防御”范式:通过动态异构冗余(DHR)构造,把未知漏洞扰动转化为可控概率问题,实现设计安全、默认安全、开箱即用。六年全球众测证明,采用内生安全架构的产品均未攻破,已纳入11项通信行业标准,成为数字生态底层驱动范式转型的“钢筋骨架”。
本文链接 安恒信息 范渊在2024西湖论剑提出“AI+安全”全景方案:以恒脑大模型与隐私计算为底座,打通数据“供得出、流得动、用得好”全链路;AI分类分级效率提升30倍,隐私计算让跨域数据“可用不可见”。AI安全智能体在亚运、大运实战中告警处置效率提升200%,实现“智能辅助驾驶”式运营。同时发布生成式AI安全防御框架,覆盖训练、部署、运营全周期风险治理,为企业数字化与绿色化协同转型保驾护航。
本文链接 报告以“AI是新质生产力”为主线,指出算力、模型、数据、应用正形成指数级放大效应,同时带来幻觉、伦理、攻防失控三大安全新图景。中国提出“全球共治、分级韧性”治理思路,将IT→DT→AI驱动的安全演进划分为三个阶段,倡导用AI提升自身安全、用韧性框架保障AI发展,并发布联合国首个人工智能全球决议,为强国建设与民族复兴守住底线、抓住机遇。
本文链接 传统安全运营正面临巨大的挑战,过度依赖专家团队,人力资源和知识有限等问题尤为突出。碳基生命的生理极限决定了在未来网络安全攻防战场,单纯依靠传统安全工具和方法是无法赢得战争的,必须借助当前最前沿的人工智能技术。 本议题将重点分享多个安全运营场景中使用大模型技术改进和增强现有的安全运营工作机制,全面提升安全运营的水准,包括:如果充分发挥智能体、大模型生成能力、编码能力实现几十倍甚至上百倍的运营效率提升。 当然,大模型的应用并非没有挑战,尤其是“幻觉”问题——即大模型在某些情况下可能会做出错误的推理和判断,从而导致误报或漏报。本议题在讨论大模型应用安全运营场景时,还将介绍作者所在团队过去的一些技术尝试,介绍如何克服“幻觉”问题,降低AI出错的概率,让大模型给出更加精准和可靠的决策结果。 通过对这些技术细节的深入分析,旨在帮助与会者理解大模型在安全运营中的实际应用价值,并展望其未来的发展方向。
本文链接 《LLM越狱攻击预防与框架 v3.3》系统梳理了大语言模型从指令注入到多模态对抗、表征工程到智能体工具滥用的全部越狱路径,配套可落地的防御体系(对齐-检测-沙箱-监控)。文档以威胁模型为纲,将攻击按提示工程、输出结构、优化、模糊、组合、MCP滥用六大类拆解,并提供测试脚本与红队演练方案,帮助安全团队在模型全生命周期内快速定位脆弱点、迭代加固。适用于AI产品、红队及合规审计人员。
本文链接 Gartner《2025安全运营成熟度曲线》系统梳理了从漏洞管理到持续威胁暴露管理(CTEM)的演进路径,突出AI SOC代理、暴露评估平台(EAP)、对抗性暴露验证(AEV)等前沿技术的成熟度与商业价值。报告强调将传统资产可见性、威胁检测与响应、身份威胁检测与响应、网络检测与响应等能力整合为可编排、可度量的运营体系,以应对云原生、混合办公及CPS(网络-物理系统)带来的新攻击面。同时提供优先级矩阵,帮助企业在2年内快速落地高价值场景,或在5-10年内布局变革性架构如网络安全网格(CSMA)。
本文链接 本书是欧盟“支持专家库”项目官方教材,专为AI、隐私与网络安全交叉人才写作。全书以MLOps生命周期为主线,系统讲解如何在训练、部署、监控AI系统的每个环节同时满足《人工智能法案》与GDPR要求:从隐私增强技术(差分隐私、联邦学习、合成数据等)到安全代码开发、模型测试、可信运行环境。书中用大量案例与练习帮助企业在处理个人数据时降低法律与伦理风险,实现“高性能+高合规”的AI落地。
本文链接 本文是Black Hat USA 2025议题《AI Agents for Offsec with Zero False Positives》的讲稿,作者Brendan Dolan-Gavitt提出“AI代理+确定性验证”方案,解决传统LLM在漏洞挖掘中的高误报难题。通过“证据-验证”双阶段流程:LLM先定位可疑点,再用非AI脚本(flag回显、时延差异、缓存投毒等)进行可复现验证,已在Docker Hub 2500万镜像扫描中捕获174个漏洞、22个CVE,误报率趋近零。文中给出Redmine权限绕过、Druid SSRF、MapProxy文件读取等实战案例,并开源自动化工具链,为大规模安全测试提供新范式。
本文链接 文稿深入探讨了随着大型语言模型(LLM)与AI智能体(Agent)能力日益强大,所带来的严峻安全挑战。 报告指出了几大核心风险领域: 有害内容输出:模型可能被诱导生成歧视性或极端的有害言论。 数据与隐私泄露:系统提示(System Prompt)和个人身份信息(PII)面临泄露风险。攻击者可通过路径遍历等手段实现数据越权访问。 目标劫持:通过间接注入恶意指令,改变Agent的原定功能,例如让应用只推荐特定商家。 网络与系统攻击:模型可被用于生成恶意代码(如类似WannaCry功能的代码),或被利用触发远程代码执行。 资源滥用:恶意用户可通过循环调用工具等方式,大量消耗模型的计算资源,造成拒绝服务。 这些风险源于模型指令遵循、泛化、推理等能力的提升。 为应对这些挑战,报告提出了一套多层次的Agent安全设计框架。该框架以模型安全对齐为基础,通过对齐算法(SFT, RL)和数据,使LLM具备基本的安全与权限意识。在此之上,通过Agent框架层面的安全设计,如Prompt优化、角色权限管控等进行加固。最后,设置输入输出过滤作为兜底策略,拦截恶意内容。
本文链接 该报告深入探讨了AI Agent应用面临的攻击面。首先,报告概述了AI Agent的定义、决策流程(感知、规划、行动)和关键特性(自主性、适应性等),并介绍了其在客服、办公助手等领域的广泛应用。其核心技术架构由大型语言模型(Model)、代理运行时(Agent Runtime)、功能工具(Tools)以及底层支持服务(Supporting Services)构成。 报告的核心部分详细剖析了AI Agent各组件的潜在安全风险。 1. 大型语言模型(LLMs):主要面临提示词注入攻击,攻击者可通过直接或间接方式注入恶意指令,从而操控Agent执行非预期的操作,如窃取数据或执行恶意代码。报告强调,不仅用户输入不可信,模型生成的内容同样需要被视为不可信来源。 2. 消息传输:以WebSocket为例,若缺乏正确的安全配置(如Origin校验),易遭受跨站WebSocket劫持(CSWSH),导致聊天数据被窃取。 3. 输入与输出处理:对模型生成内容的处理不当会引发严重漏洞。例如,直接执行模型生成的代码可能导致远程代码执行(RCE),而将模型输出渲染为HTML则可能造成跨站脚本(XSS)攻击。 4. 工具(Tools):作为Agent与外部世界交互的桥梁,工具是风险最集中的区域。数据分析功能可能导致代码执行,网页访问功能可能引发服务端请求伪造(SSRF),数据库操作则可能存在SQL注入风险。 5. 沙盒环境:用于执行代码的沙盒若配置不当,如网络或文件系统隔离存在缺陷,攻击者可能实现沙盒逃逸,进一步危害宿主系统。 最后,报告对未来防御方向进行了展望,提出了三大关键策略:遵循最小权限原则限制Agent能力;通过动态监控实时追踪并拦截Agent的异常意图与行为;以及将传统应用安全与大模型安全相结合,构建纵深防御体系。
本文链接 演示首先概述了LLM面临的普遍安全风险,并引用OWASP的报告,强调“提示注入”是首要威胁。近期多所国际知名大学的论文被发现植入了操控AI给出好评的隐形指令,这便是提示注入的实例。研究数据表明,与直接提示注入相比,间接提示注入(IPI)的攻击成功率要高得多,因为它将恶意指令隐藏在模型处理的网页、文档等外部内容中,模型在解析时会自动执行。 接着,文稿深入分析了IPI的攻击原理。其有效性的关键在于模型本身无法区分“指令”和“数据”,且缺乏“不执行外部数据中指令”的意识。实证研究表明,即使是更强大的模型,也普遍受IPI影响,且攻击成功率更高,而现有的缓解技术(如提示工程和微调)虽有改善,但效果有限,并可能牺牲模型的实用性。 为了说明其危害,文稿展示了一个真实的攻击链条:攻击者将恶意指令(如窃取历史对话、钓鱼用户凭据)植入PDF文档中。当用户上传该文档让AI进行翻译或总结时,AI会执行恶意指令,将用户的历史对话记录发送到攻击者服务器,或生成一个仿冒的登录页面来骗取用户账号密码。测试显示,国内外多款主流大模型均存在此类风险。 最后,针对IPI攻击,演示提出了一个由输入过滤、指令结构强化和模型自身调优构成的纵深防御体系。具体措施包括:在模型处理输入前进行恶意指令检测;在架构上明确区分系统指令、用户指令和外部内容;以及通过安全增强微调,提升模型自身区分指令与数据的能力。
本文链接 这份文档详细介绍了火山引擎在AI领域的安全保障实践。首先,文档概述了火山引擎的AI业务架构,该架构涵盖了从底层AI基础设施(AI Infra)、大模型服务平台(MaaS)到智能体开发运维(Agent DevOps)和最终的AI智能体(AI Agent)应用的全方位服务。 文档的核心部分阐述了火山引擎的AI安全保障方案,强调“安全是一切Agent的基础”。该方案构建了一个多层次的纵深防御体系,包括针对大语言模型(LLM)本身的提示词攻击防护、模型平台安全;针对Agent和工具的协议安全、沙箱防护;以及覆盖底层基础设施和平台治理的全面安全措施。 文档重点分析了AI智能体场景中MCP(Model-as-a-Service Connector Protocol)面临的七大核心安全风险,例如传统的Web服务漏洞、工具描述投毒、间接提示词注入、恶意“地毯式骗局”(Rug Pull)以及企业数据安全风险等。 为应对这些挑战,火山引擎设计了MCP安全架构。该架构包含三大核心策略: 第一,严格的安全准入控制,确保所有接入MCP市场的服务都经过安全扫描和漏洞修复; 第二,原生安全设计,针对多租户体验场景和单租户私有化部署场景,分别采用临时凭证隔离和VPC内部署等不同安全机制; 第三,运行时安全防护,通过“大模型防火墙”和“AgentArmor”等工具,实时检测并拦截恶意输入和非预期行为,保障模型和智能体在运行过程中的安全。
本文链接 PyTorch 是一个基于 Torch 库的机器学习库,广泛应用于计算机视觉和自然语言处理等领域。它是最受欢迎的深度学习框架之一。 然而,尽管 PyTorch 拥有强大的功能,但其背后潜藏着潜在的安全风险。最初,PyTorch 使用 pickle 保存模型,但由于 pickle 反序列化的不安全性,加载模型时存在远程代码执行(RCE)的风险。随后,PyTorch 引入了 weights_only 参数来增强安全性。官方文档指出,weights_only=True 被认为是安全的,并建议使用它,而不是 weights_only=False。 多年来,weights_only=True 的安全性一直没有受到挑战。然而,我们的研究揭示了一些令人不安的事实。我们发现,使用 weights_only=True 的 torch.load 支持 TorchScript,这促使我们深入研究 TorchScript 的内部工作机制。在一段时间的研究后,我们发现了几个漏洞,并最终实现了远程代码执行(RCE)。我们迅速将这一发现报告给了 PyTorch,PyTorch 确认了该漏洞并为我们分配了 CVE-2025-32434。这个发现颠覆了已有的认知,并对许多 AI 应用产生了深远的影响。我们将在本报告中深入分析该漏洞的影响。 在本次简报中,我们将介绍如何获得灵感并发现这一有趣的漏洞。同时,我们的发现再次验证了这句话:“你曾以为的安全港,实际上是敌人的水域。”
本文链接 腾讯 TEG 安全平台部代码安全负责人张栋已确认出席,并发表题为《大模型驱动安全升级:腾讯代码安全应用实践》的主题演讲。安全漏洞是每一个企业都必须面对的问题,处理不好动辄影响服务可用性、导致核心业务敏感数据泄露,对业务及公司造成不良影响。基于此在企业研发体系中,绝大多数企业会选择通过安全左移在软件开发生命周期的早期阶段进行风险识别和安全问题修复。但是,传统的静态分析工具本身因其检测方式导致的覆盖有限、高误报、修复效率低等问题,增大了业务团队负担,致使业务对安全问题响应慢、体感差。在本次分享中,张栋将结合腾讯内部的实践经验,深入探讨大模型在代码安全场景中的应用,分享在不同发展阶段其遇到的挑战及其解决方案。 演讲提纲 1.代码安全现状及问题分析 传统代码安全现状 传统代码安全痛点 业务安全场景痛点 传统代码安全的局限性 2. 大模型在代码安全场景应用与挑战 大模型赋能传统工具 大模型助力安全左移 大模型自动化漏洞检测 3. 技术架构及解决方案 行业前沿解析 架构设计及能力演进 基础能力建设 4. 总结及展望 工程实践心得 大模型在代码安全场景落地的方向 演讲亮点 代码安全场景大模型落地思路及过程经验分享 大模型自动化漏洞扫描思路及过程经验分享 专用领域大模型的微调思路及过程经验分享 听众收益 了解专用模型领域微调思路及落地实践 了解大模型落地过程中常见问题及解决方案 了解大模型赋能安全的基础上,进一步泛化至其他应用场景
本文链接 本议题聚焦于面向复杂场景的模型训练与架构设计,提出多种解决方案提升模型在网络安全场景下的理解与推理能力。在此方案下的实验中,体现了自动渗透、自动修复、自动信息收集、自动打靶、参与CTF竞赛等通用能力,初步具备无需人工干预的通用执行能力。 《让安全大模型不做花瓶》提出以RAG+ToT(Tree-of-Thoughts)架构破解大模型在安全场景中的上下文瓶颈,通过“分解-探索-剪枝”三阶段推理,把复杂网安任务拆成可验证的子链,再按优先级回溯生成最优策略。我们使用230M网安图书、1.1B公开文章及CTF Write-up继续预训练Hive-0模型,并引入GRPO强化学习与人类红队对抗,实现漏洞挖掘、渗透测试、告警研判等场景的自动化决策。配套浏览器驱动、Console工具链,支持一键调用扫描器、取证脚本,形成“人机协同-无人对抗”的闭环,真正让安全大模型从“问答玩具”变成可落地的防御生产力。
本文链接 本议题将探讨如何结合大模型与MCP技术,实现对程序的静态分析、动态调试。基于这些技术,可以让AI参与漏洞研究,提升漏洞挖掘效率,并配合实际案例,展示AI在漏洞方面的工作能力。 《如何训练AI帮我调漏洞》以实战视角拆解大模型在漏洞挖掘与复现中的落地路径:先通过Function Calling打通LLM与IDA、GDB等工具的“最后一公里”,再借助MCP协议把静态反编译、动态调试、PoC生成、流量监控等异构能力串成一条Agent工作流。W22现场演示用AI编辑器+ida-mcp-server秒读ELF、定位strcpy溢出;用gdb-mcp-server远程下断、单步追踪内存变化;最终自动化复现Zimbra未授权RCE与未公开网络设备栈溢出漏洞。文档给出完整配置、脚本与踩坑提示,让AI真正“动”起来.
本文链接 01 公司介绍 02 云原生安全挑战 03 产品功能与解决方案
本文链接 宇信智臻以AI+大数据驱动的科技风险合规管理平台,覆盖风险识别、评估、整改、监测全生命周期,实现监管规则自动解析、合规动态预警、多源异构数据实时关联分析,通过可视化驾驶舱和智能决策引擎,帮助银行、保险等金融机构降本增效、精准防控、轻松迎检,已服务多家国有及股份制银行落地标杆案例。
本文链接 安恒信息《勒索病毒应急与响应手册》系统梳理勒索病毒传播、加密、勒索全过程,提供“判断-应急-恢复-加固”四步闭环方案: 先通过系统日志、文件后缀、壁纸变化快速确认是否感染;再按中毒阶段给出隔离、取证、溯源、日志分析等基础与高级应急措施; 对已被加密主机提供备份还原、解密工具、数据恢复、支付决策、重装加固五种处置策略; 最后从安全意识、补丁漏洞、端口管理、EDR终端检测、APT边界防御、安全培训、灾备演练等维度建立长期防治体系。 手册内含真实勒索提示截图、操作截图、流程图及配套渗透测试、应急演练、保险理赔指引,帮助企事业单位最小化业务中断与经济损失。
本文链接 银行反洗钱方案案例 银行黄牛攻防系统搭建方案案例 银行反营销欺诈解决方案 保险业务安全建设方案案例 保险营销反欺诈方案案例 保险营销发欺诈方案案例 证券反欺诈解决方案案例 证券数据资产泄露解决方案
本文链接 人工智能(AI)正日益应用于所有利用信息技术的行业,并预计将成为主要的经济驱动力之一。这一趋势的一个结果是,某些应用在未来几年可能会引发社会挑战。本文旨在帮助组织在涉及AI系统(例如使用、开发、监控或提供利用AI的产品或服务)时,负责任地履行其职责。AI可能引发以下特定的考虑因素,例如: 以自动决策为目的的AI使用,有时以非透明和不可解释的方式进行,这可能需要超出传统IT系统管理的特定管理。 使用数据分析、洞察和机器学习,而非人类编码的逻辑来设计系统,既增加了AI系统的应用机会,也改变了这些系统的开发、论证和部署方式。 能够进行持续学习的AI系统在使用过程中会改变其行为。这些系统需要特别考虑,以确保在行为变化的情况下其负责任的使用能够持续下去。 本文件提供了在组织背景下建立、实施、维护和持续改进AI管理系统的要求。预计组织将把这些要求的应用重点放在AI独有的特征上。AI的某些特征,如持续学习和改进的能力,或缺乏透明性和可解释性,如果它们引发的担忧超出传统执行任务的范围,可能需要不同的保障措施。采用AI管理系统来扩展现有的管理结构是组织的一项战略决策。
本文链接 AI agents increasingly drive critical systems—from healthcare diagnostics to autonomous vehicles. Yet their autonomy introduces vulnerabilities: adversarial attacks, data leakage, and unintended harmful behaviors. This standard provides a systematic methodology to test agent resilience across interfaces, models, tools, and life-cycle stages, ensuring they operate within ethical and safety boundaries. Aligned with WDTA’s 3S principles (Speed, Safety, Sharing), this document accelerates secure AI adoption while fostering international collaboration. We commend the AI STR Working Group and contributors for pioneering a framework that balances innovation with accountability. Their expertise delivers actionable guidance for developers, auditors, and policymakers to build AI systems that serve humanity securely.
本文链接 一、以TLS协议为代表的业务加密通信流量检测 二、以Webshell、木马回连、隧道通信的安全工具相关的攻击加密流量检测
本文链接 百度作为一家业务复杂的大型互联网企业,同时又是关键基础设施,随着网络安全威胁的日益加剧,传统的安全运营手段在效率和效果上都面临巨大挑战。本次分享将介绍百度如何基于大模型构建深度安全推理智能体框架,实现运营效率和效果的双重提升,并展示包括告警自动研判和漏洞事件分析在内的实践经验,希望能给听众带来一些大模型安全领域应用最佳实践的启示。 演讲提纲 背景和挑战 大模型开始逐步应用于安全运营场景 百度安全运营面临的双效(效率+效果)提升需求 2. 架构设计 设计目标:基于深度安全推理智能体框架,实现双效提升 设计考虑:人机协同的工作流设计(运营流程梳理、质量标准定义、人机交互模式)、模型能力边界与拓展(模型结果可信度和可解释性、知识和工具依赖)、实施成本 整体架构(自底向上): 底座模型的知识补充 RAG、CoT、Function calling 流程编排 智能体 Review 机制 3. 实践案例 告警自动/辅助研判 + 事件处置 漏洞事件自动分析 + 处置 4. 未来展望 大模型原生的安全运营中心 实践痛点 明确目标,围绕安全运营场景的风险偏好,制定更贴合实际的落地目标,避免直接盲目追求大而全的零职守无人干预 以数据驱动能力迭代,缺少可用数据时应当从实际场景中提升标准化和自动化水平,引入业务的数据活水,避免直接使用脱离业务的合成数据 演讲亮点 从架构设计层面剖析安全运营场景双效提升应遵循的必要准则,提供构建深度安全推理智能体框架的完整视角 细粒度展现告警研判、漏洞分析处置等实际场景的双效提升最佳实践 听众收益 了解互联网大厂的安全运营需求痛点与大模型实践经验 了解规模化且对效果要求较高的安全运营场景下,大模型智能体设计考虑与整体架构
本文链接 出海成为众多国内企业实现业绩新增长曲线的选择,然而随着数据的重要性提升,法律及监管关注度也在增强,携程作为在线旅行行业较早布局海外业务的企业,在海外数据安全合规风险上也有所积累。本次演讲将分享携程海外数据安全合规风险管理的思路和经验,希望能给相关出海企业企业带来一些合规实践上的启示。 演讲提纲 出海面临的数据安全合规挑战 法律法规近些年主要变化及监管挑战 从数据视角深度剖析出海合规风险 2. 携程应对策略及实践 携程的海外合规整体策略设计 如何通过GRC平台形成风险管理闭环 如何保障旗下Trip.com产品的隐私合规 3. 海外数据安全合规未来展望和应对思考 实践痛点 合规风险管理线上化需要建立在标准化的风险管理、优秀的产品设计、合理的内部运营流程等基础上,才能实现控制域的完备性、控制方法的准确性、关键控制的有效性、审计覆盖的充分性等关键指标。 演讲亮点 结合合规实战介绍部分法域的合规挑战 介绍携程自研GRC(Governance, Risk and Compliance )平台如何融合监管情报、外规内化、审计整改等多个治理环节,解决出海过程中面临多法域、多品牌的风险管理挑战 听众收益 帮助了解现有海外数据安全相关合规的整体风险态势 帮助了解标准化及线上化在多法域数据安全合规风险管理中的价值
本文链接 随着⼈⼯智能(AI)技术的⻜速发展,以⼤型语⾔模型(LLMs)为核⼼的智能体(AI Agents)和多智能体系统(Multi-Agents System)正⽇益深⼊到各个应⽤领域,从简单的对话助⼿到复杂的⾃主决策系统。与此同时,作为连接 AI 模型与外部世界(包括⼯具、数据源和其他智能体)的关键桥梁,模型上下⽂协议(MCP)的出现进⼀步拓展了 AI 智能体的能⼒边界。然⽽,这种能⼒和集成度的提升也带来了前所未有的安全挑战。本⽂将针对⽬前披露的针对⼤模型、 MCP 和 AI 智能体的各类安全攻击⽅法,简要分析和总结,深⼊剖析原理、关联性和影响,⼒求提供⼀个当前时点较为全⾯的威胁分析视图,并结合最新的研究进展,为当前的防御策略提供洞察
本文链接 大模型企业应用十大常见安全风险 01 样本投毒(数据污染) 02 恶意利用(Prompt注入攻击) 03 代码辅助工具数据泄露(第三方代码辅助工具) 04 第三方代码依赖风险(开源模型/库污染) 05 自动化Agent权限滥用 06 自建模型平台暴露面过大 07 训练数据隐私泄露 08 模型推理劫持(对抗样本攻击) 09 AI伦理与偏见放大 10 开源模型滥用(深度伪造与辅助犯罪)
本文链接 这是 ChaMD5 安全团队 AI 组的第一篇关于大语言模型(LLM)的安全研究报告,尽管团队在 AI 安全领域已经有了一定的积累, 但由于是初次撰写报告, 我们深知在专业性与严谨性方面可能存在着诸多不足。真诚地希望各位读者老师能够不吝赐教,对报告中的任何问题提出宝贵的意见与建议,帮助我们不断改进与提升。 引言 LLM 安全格局:机遇与风险并存 剖析核心风险:OWASP LLM Top 10 (2025 版) 详解 真实世界的威胁:LLM 与供应链安全案例研究 4.1. 案例研究:数据投毒 - PoisonGPT 实验 4.2. 案例研究:软件供应链攻击 - PyTorch 'torchtriton' 事件 4.3. 启示与影响 安全构建:LLM 开发与防御框架及工具 5.1. 开发编排框架:LangChain 5.2. 防御工具:Rebuff AI 5.3. 防御工具:Garak 5.4. 其他相关工具 5.5. LLM 安全工具比较 建议与未来展望 附录 7.1. 关键术语解释 (Glossary of Key Terms) 7.2. OWASP Top 10 for LLM Applications (2025 版) 完整列表 7.3 参考引用
本文链接 雾帜智能联合创始人兼CTO傅奎在QCon全球软件开发大会分享了安全大模型在网络安全领域的应用。在网络安全面临挑战的背景下,大模型应用虽受关注但实际场景较少,多数公司难以自研安全大模型。国外有微软Security Copilot等产品,国内大模型在安全运营领域有安全事件“翻译”、结构化输出、战报日报总结、漏洞挖掘增强等应用场景,但存在重分析、轻决策、零执行的问题。在智能决策领域,正探索让大模型实现主动思考、智能决策和自动执行,如应对暴力破解攻击时给出合理建议。在实践案例中,基于BAS验证结果的智能响应场景,虽面临BAS系统输出解析和优化建议可操作性等关键难点,但通过合理设计技术实现思路,如通用字段提取、智能决策引擎等,可实现风险漏洞闭环。未来,可通过提升模型能力、优化提示词、进行模型微调、丰富上下文等提高模型决策质量,借助SOAR安全剧本及应用APP电子市场等实现能力调度,还可通过标准化输入输出、构建AI虚拟SOC团队等提高准确性和采纳率,向零值守无人安全运营中心迈进,但仍需重视人的因素。
本文链接 钓鱼邮件种类 钓鱼邮件写法 如何成功制作一封钓鱼邮件
本文链接 第一部分 网络安全与中国黑客成长简史 第二部分 攻防两端对抗技术演进简史 第三部分 网络攻端人才的未来
本文链接 AI在网络安全的应用 AI模型安全与隐私 针对AI赋能安全的攻击 AI时代网络空间安全新挑战
本文链接 个人介绍 前置知识 域与域之间的横向移动 绕过SID过滤
本文链接 链上洗钱与反洗钱 重要性: 利用加密货币进行洗钱的增长趋势明显, 反洗钱是阻止黑客获取收益,追回损失的最后一道防线。
本文链接 Audit Spring Framework & Spring Boot Hacked Spring
本文链接 安卓应用的防护手段 iOS应用的防护手段 同应用防护力度对比 r0cap/r0tracer支持iOS!
本文链接 个人介绍 Exchange架构 CVE-2020-0688 ProxyLogon ProxyShell 总结
本文链接 电诈团伙产业链条演变 裸聊诈骗的套路解密 裸聊诈骗的幕后技术 深入电诈团伙内网探测 对团伙内网管理软件的突破
本文链接 不同运营商使用相同固件会存在同一类型漏洞 供应链中引入的代码可能永远不会得到审查 介绍 安全漏洞 研究&漏洞 总结
您可以订阅此RSS以获取更多信息