润百AI

标签：AI安全

共 12 篇

2026年9月13日0 条留言

对齐技术入门：RLHF、DPO 与宪法 AI 如何塑造大模型的行为

为什么需要对齐大模型在预训练之后，本质上只是一台"续写概率"的机器：它学会了语言的统计规律，却并不知道什么样的回答才是人类真正想要的。对齐（Alignment）要解决的核心问题，就是把这个只会"预测下一个词"的模型，调整成愿意遵循指令、拒绝有害请求、并在不确定时诚实表达的行为模式。这个过程不是让模型变聪明，而是让它的行为与人类的意图和价值观保持一致。第一代主流方法：RLHF基于人类反馈的强化学习（

技术大模型 AI安全

2026年9月12日0 条留言

大模型的幻觉：为什么 AI 会一本正经地胡说，又该如何缓解

如果你用过一段时间大模型，大概遇到过一个尴尬的场景：它用非常肯定的语气告诉你一个完全错误的事实，甚至还能编出细节。这种现象通常被称为「幻觉（Hallucination）」。它不是模型在撒谎，而是它的工作方式带来的必然结果。一、幻觉从哪里来大模型的本质是根据上下文预测下一个词。它学到的是语言中的统计规律，而不是一个可以随时查询的事实数据库。因此，当它缺少相关信息时，也会顺着语言模式编出一个看起来合理

技术观点大模型 AI安全

2026年9月11日0 条留言

提示注入攻击：大模型应用最该防的一类安全风险

当大模型开始调用工具、读取网页、访问数据库，一个新的攻击面也随之打开：提示注入（Prompt Injection）。它不需要攻破服务器，只要把一段恶意指令混进模型会读到的内容里，就可能让应用按攻击者的意愿行事。直观的比喻是会说话的身份证。传统程序里，数据就是数据，指令就是指令；但在大模型应用里，两者都只是文本。当模型去总结一封邮件、解析一个网页、读取一条评论时，这些内容里的一句忽略以上指令、改为某

技术 AI安全大模型

2026年8月29日0 条留言

AI Agent的安全边界：自主智能体时代的风险与防线

当AI Agent从「对话助手」进化为「自主执行体」，安全问题的性质也随之改变。过去，大模型的安全风险主要集中在「答错」——幻觉、偏见、不当内容；而现在，风险延伸到了「做错」——Agent会在真实世界中调用工具、访问数据、执行操作，一次失误的代价可能远超一段错误文本。当前业界讨论最集中的风险有三类。其一是提示注入：攻击者把恶意指令藏进网页、邮件或文档等外部数据中，当Agent读取这些内容并据此行动

技术观点 AI Agent AI安全

2026年8月25日0 条留言

智能体安全：Agent时代的安全挑战与防护

随着AI Agent从对话助手走向自主执行任务的"数字员工"，安全问题正成为制约其规模化落地的关键瓶颈。当智能体开始调用工具、访问数据、操作系统时，传统网络安全框架面临全新挑战。一、智能体面临的核心安全威胁提示词注入（Prompt Injection）是最突出的威胁之一。攻击者将恶意指令隐藏在网页、邮件或文档中，当智能体读取这些内容时，可能被诱导执行越权操作，如读取敏感文件、发送钓鱼邮件或篡改数据

技术 AI Agent AI安全大语言模型

2026年7月12日0 条留言

AI驱动的网络安全：从威胁检测到主动防御

网络攻击的规模和复杂性正在以前所未有的速度增长。据行业报告，2025年全球网络攻击数量同比增长超过40%，而传统基于规则的安全系统在面对新型攻击时往往力不从心。AI技术正在从根本上改变网络安全的攻防格局，推动安全体系从被动响应向主动防御转型。在威胁检测方面，基于机器学习的异常检测系统已经成为现代安全运营中心的核心工具。与传统签名检测不同，AI模型能够学习正常网络流量的行为模式，识别出即使是最新的零

技术资讯 AI安全网络安全威胁检测

2026年7月11日0 条留言

AI时代的数据隐私保护：挑战与解决方案

在人工智能技术飞速发展的今天，数据隐私保护成为了社会各界关注的焦点。AI系统的训练和运行依赖于海量数据，而这些数据的收集、存储和使用过程中潜藏着诸多隐私风险。如何在推动AI创新的同时保障个人隐私，已经成为行业发展必须面对的核心议题。AI时代的数据隐私挑战主要体现在几个方面。首先是数据收集的边界问题。许多AI应用在用户不知情或未充分理解的情况下收集数据，包括浏览记录、位置信息、生物特征等敏感数据。其

技术观点数据隐私 AI安全数据治理

2026年6月14日0 条留言

AI时代的数据隐私与安全：挑战与应对策略

随着AI技术在各行各业的深度渗透，数据隐私与安全问题正成为制约AI进一步发展的关键瓶颈。2026年，全球各国加速推进AI立法，数据安全治理已从"可选项"变为"必答题"。在训练数据层面，大语言模型需要海量文本数据进行预训练，而这些数据中不可避免地包含个人信息、敏感内容甚至版权材料。2025年，多起针对AI公司的版权集体诉讼引发了行业震动，促使OpenAI、Google等企业开始与新闻出版商、内容平台

技术观点数据隐私 AI安全

2026年6月10日0 条留言

AI与数据隐私：2026年技术发展与合规挑战

2026年，人工智能的飞速发展与数据隐私保护之间的矛盾日益凸显。大模型训练需要海量数据，而用户对个人信息的控制权意识不断增强，这构成了AI时代最核心的张力之一。在技术层面，隐私保护AI技术取得了重要进展。联邦学习已在金融、医疗等敏感行业实现规模化部署。多家银行通过联邦学习在不共享原始数据的前提下联合训练风控模型，既提升了模型性能，又确保客户数据本地化存储。差分隐私技术被苹果、谷歌等科技巨头广泛集成

资讯观点数据隐私 AI安全

2026年6月5日0 条留言

2026年AI安全与治理：全球监管框架与企业合规实践

随着人工智能技术的广泛应用，AI安全与治理问题已成为全球关注的焦点。从欧盟AI法案的正式生效到各国监管框架的密集出台，2026年被称为"AI监管元年"，企业面临的合规挑战空前严峻。欧盟AI法案（EU AI Act）于2026年全面生效，成为全球首部全面监管人工智能的法律。该法案根据风险等级将AI系统分为不可接受风险、高风险、有限风险和极低风险四类，对高风险AI系统提出了严格的透明度、人工监督和数据

资讯观点 AI治理 AI安全

共 12 篇