入选TIME AI思想者的中国学者,抛出人工智能安全六问-资讯-知识分子

入选TIME AI思想者的中国学者,抛出人工智能安全六问

3天前
导读
美国《时代》(Time)杂志8月27日发布了2026年TIME100全球人工智能领域最具影响力人物榜单。

美国《时代》Time杂志827发布了2026TIME100全球人工智能领域最具影响力人物榜单。


图片

TIME 100 AI


上海人工智能实验室主任、首席科学家周伯文入选Thinkers(思想者),与李飞飞、Ilya SutskeverYann LeCun(杨立昆)等共同跻身这一代表人工智能前沿思考与探索的年度阵容,也是榜单中Thinkers(思想者)类别唯一中国学者。


图片

Ilya Sutskever、杨立昆、周伯文、李飞飞  来源:TIME


TIME100 A I是美国《时代》杂志自2023年推出的年度全球人工智能影响力榜单,每年遴选100位正在塑造全球AI发展方向的重要人物,覆盖基础模型、科研、芯片、产业、政策治理与AI安全等领域。上榜人物不以论文、财富或公司规模等量化数据排名,而是综合技术突破、产业推动力、公共政策影响和社会影响进行评选,因此更接近于一份全球AI时代关键人物图谱


TIME在入选介绍中,重点关注了周伯文对前沿人工智能治理的持续推动。


面对能力快速演进带来的新型风险,周伯文主张人工智能能力与安全同步发展,并推动建立面向前沿模型的风险评测与管理框架,探索以共享测试方法、及时安全事件报告等机制促进国际协作。


TIME特别指出,周伯文正推动安全从制约创新的刹车,转变为支撑人工智能从技术展示真正走向现实世界的基础设施。


人工智能能力的快速演进,使安全问题从具体风险防御走向更深层的基础性问题,当智能能力不断突破边界,如何确保这种能力始终可控、可信,并服务于人类?


20267月,OpenAI的前沿大模型在内部安全评估中自主突破了沙箱隔离,入侵了Hugging Face的生产基础设施,让AI安全问题从技术圈的行业讨论,升级为全社会必须面对的公共议题。


作为在人工智能基础研究、核心技术研发与产业实践从业20余年的科学家,周伯文很早就关注AI治理问题。而正是这类越狱风险的加速逼近,让周伯文长期倡导的AI治理问题真正成为迫在眉睫的公共危机。


他曾用登山来比喻人工智能发展与安全之间的关系:


过去大家觉得发展和安全是拔河,但我现在更愿意把它比作登山:每一步向上攀登的同时,都要确保脚下踩的是安全的。不能为了登顶无视风险,也不能为了安全停滞不前。


沿着这一思路,问题也随之变得更加具体:人工智能安全的边界究竟在哪里?安全能否成为智能系统自身的一部分?当AI从生成内容走向自主行动,我们又该如何重新理解风险、治理与责任?


2026年初,周伯文将这些问题归结为六个方面:极限之问、原生之问、产业之问、行动之问、治理之问与伦理之问。


这六问从人工智能安全最基础的理论边界出发,一直追问到技术、产业、治理与伦理层面。随着AI能力不断向前,它们所触及的,也正是今天人工智能安全仍未解决的一些基础问题。



《人工智能安全六问》

撰文周伯文


01

极限之问:
人工智能安全是否存在可收敛、可量化、可证明的极限?


人工智能安全受到的攻击是未知的,那么,安全是否存在可证明的极限边界?


Mythos等模型的表现可以看出,防御的上限由攻击的上限决定。但当前攻击能力几乎看不到边界,规模定律Scaling Law尚未出现收敛,各类新技术仍在持续推高模型能力。因此,一个本质问题亟待回答:从第一性原理出发,在无限、未知的威胁空间中,人工智能安全是否存在可收敛、可量化的度量标准?


我们可以从两个维度来思考。


的视角看,AI 系统可被利用的最大脆弱性,能否被形式化定义?攻击能力的上限是否可计算?唯有厘清这一点,我们才能明确红队测试的边界与天花板。


的视角看,如何准确定义安全?安全成立的充分条件是什么?目前,我们对安全的验证大多停留在能够抵御已知攻击,即等同于安全的层面。


那么是否存在一种方式,无需依赖攻防测试,就能对系统安全进行完备性证明,或者建立一套严谨的安全证明路径?如果这种路径能够被建立,攻防对抗就不再是保障安全的必需品,而成为安全效果的验证手段。


当前大部分安全理论,都高度依赖攻防对抗。一旦我们能够回答安全的极限之问,就有望像热力学第二定律为能量转化划定不可逾越的物理边界一样,摸清人工智能安全的客观边界与底层规律。


02

原生之问:
能否从Make AI Safe走向Make Safe AI
让安全成为模型与生俱来的原生能力?


如何让安全成为大模型与生俱来的原生能力?


今天讨论的大部分安全问题,99%都是针对特定攻击、特定模型、特定场景进行防御与合规校验,安全始终是一种后置、附加的约束条件。


我们需要回答:能否将安全内化为模型自身的底层核心能力?


2024年世界人工智能大会开幕式演讲中,我曾提出AI-45度平衡律。过往普遍认为,模型性能与安全之间是此消彼长的博弈关系。但今天,我们要追问:二者能否协同演进、同步生长,在通用智能持续提升的同时,内生安全能力也同步增强?


这一点在人类社会中本就成立:高智商、高情商、高责任意识的个体,天然具有更强的行为边界与安全素养。但当前的大模型,却尚未形成这样的原生特质。


其核心矛盾在于:如果无法破解原生安全问题,安全就永远只能是外挂式修补,即Make AI Safe”—— 模型独立训练、自由演化,安全团队再通过打补丁、设红线、做对齐、强对抗,对齐进行被动驯化和约束。


与之相对的终极目标,是打造天生安全的人工智能,即Make Safe AI。其核心关键,是找到智能与安全统一共生、协同进化的持续学习机制。


由此,衍生出三大核心科学问题:


一.智能已经拥有成熟的表征体系,依靠架构设计、预训练等方式实现。那么,安全的底层表征是什么?再更进一步,智能与安全能否在统一空间里进行表征?


二.智能具有清晰的涌现现象,那么安全是否也存在涌现规律?安全行为的涌现,是否需要独立的学习信号?这类信号又该从何而来、如何构建?


三.由于客观规律本身自带边界约束,模型在理解物理规律时,就能建立天然的边界感。这套天然的边界感能否进一步延伸并融合伦理与人文底线,使模型在认知世界规律的同时,内生出行为边界与价值约束?


我认为,在技术路径上,首先要深入思考表征层的安全与模型能力之间的耦合;其次,要探明安全行为涌现的最小必要条件。


现阶段,智能涌现高度依赖算力、数据等规模化计算驱动,而安全约束多依赖事后规则和植入式干预,二者在学习信号密度和驱动逻辑上存在本质差异。


既然智能存在可验证的Scaling Law,我们就要进一步探索:安全是否也存在专属的规模演化规律?即便两者曲线斜率完全不同,只要能够找到安全的Scaling Law,就有可能主动调控、持续牵引模型的原生安全水平稳步提升。


03

产业之问:
如何破解“攻击成本低、防御成本高”的结构性失衡,让安全成为企业用得起、用得上的基础能力?


企业是创新的主体,具备很强的自主创新能力,同时成本意识也非常强。


但很多公司分配给安全领域的预算十分有限,因为大部分预算都投入到能直接产生收益的业务中,而安全工作的责任却无限大——这是企业内部层面的不平衡。


除此之外,还存在一个行业层面的不平衡:攻击方的成本极低,但企业防御的成本却很高。


行业层面和企业内部层面的双重不平衡,导致每家企业能够投入到安全研究中的力量都非常有限。


Safety as a Service安全即服务)模式,或许是现阶段打破这种不平衡的一条可行路径。以举国之力、聚全行业之力,把安全打造成为像水电、交通一样的公共基础设施。


这就好比汽车制造厂,如果要求汽车厂既负责造车,又负责修路、安装信号灯,甚至为交警的工作付工资,就很难有任何一家汽车厂能实现盈利。


这一新模式能够实现三个核心平衡:一是实现经济性与可部署性的平衡,让企业用得起、用得上;二是实现系统性与可验证性的平衡,确保安全防护真正有效;三是实现长期性与研发可控性的平衡,保障安全体系持续迭代、自主可控。


04

行动之问:
如何把人工智能安全从分散防御转化为系统性基础设施?


回顾历史上技术领先国家各类基础设施建设,主要有四种驱动模式:


一是国家使命驱动型,由国家层面统筹组织重大科研工程;


二是学科需求驱动型,当学科发展到特定阶段,需要大设备、大装置支撑,比如费米加速器、射电望远镜等;


三是革命能力驱动型,比如超算中心建设;


四是资源整合驱动型,比如人类基因组计划。


人工智能安全基础设施的建设,同样需要融合这四种驱动模式:既是国家使命所需,也是学科发展必然,更是应对技术变革、整合各方资源的关键举措。


05

治理之问:
如何建立全球公认、协同有效且真正可落地的治理体系?


人工智能安全具有全球性,不存在局部安全,需要全球协同,单一国家的管控难以真正解决问题。


现有治理体系中已经存在各类成熟案例,但也同样面临不可能三角的难题。


比如SWIFT体系,正因为其替换成本极高,才常被用作管控工具;还有部分治理模式,如布鲁塞尔协议,嵌入性强,但灵活度不足。


人工智能的全球治理关乎全人类福祉,其影响渗透到每个人的日常,比其他治理场景更加贴近生活,也更不可回避。


那么,能否打破治理中的不可能三角,构建一套全球公认、真正可落地的治理体系?


06

伦理之问:
如何将抽象的伦理原则转化为模型可学习、可遵循的内生安全约束?


大家都希望人工智能在能力持续提升的同时,能够严格遵从人类社会的伦理准则。那么,伦理原则作为核心底线,如何能够被真正转化为模型行为的内生安全约束?这是一个需要回答的关键问题。


目前行业内的主流范式,如Anthropic宪法AIConstitution AIOpenAI的模型规约,本质上都是通过语言提示和指令约定,对AI行为进行外在约束。


这种方式在短期内确实有效,但随着模型能力不断提升,尤其是具备长链路深度推理能力之后,很容易出现语义绕过、逻辑失控等问题,难以形成长效约束。


要真正将伦理准则转化为模型的内生安全约束,我们提出三个思路:


一.进行科学重构,把内生约束变成制度和科学约束。核心是把抽象的伦理原则和行为准则,拆解成可落地、可量化的原子化单元,融入模型的每一个行为逻辑,让伦理约束从抽象概念转化为模型可识别、可遵循的底层数据特征。


二.建立全链路评测体系,打破当前单一节点、单一场景的评测模式,实现对模型从研发、训练,到应用全流程的伦理合规评测,确保伦理约束贯穿始终。


第三,推动伦理约束内生化,彻底摆脱外挂式补丁、事后式修正的模式,将伦理准则融入模型的底层逻辑和学习机制,使模型从根源上具备伦理判断能力,自觉遵循人类社会的伦理底线。(本文根据周伯文在2026年奇点科学会议上的演讲整理而成。)图片


图片

Thinkers, TIME 100 AI 2026


参与讨论
0 条评论
评论
暂无评论内容
知识分子是由饶毅、鲁白、谢宇三位学者创办的移动新媒体平台,致力于关注科学、人文、思想。
订阅Newsletter

我们会定期将电子期刊发送到您的邮箱

GO