为AI装上“安全阀” 君同未来:可信、可控、可管的AI治理之道

2026-09-03

制图 应茵

基于语义空间的风险发现与拦截

商报记者 夏莹

人工智能有“算力、数据、算法”三驾马车,拉着AI跑得足够快。可当技术跑入业务现场,一个问题随之而来——企业的目标、行为的边界、责任的归属,谁来约束?智能体开始独立承担任务,谁来驾驭这辆飞驰的马车?

在杭州“人工智能+”场景创新实践中,一个名为“AI+大模型全生命周期智能治理应用”的项目给出了答案——做AI的“体检医生”。

该项目由杭州君同未来科技有限责任公司(以下简称“君同未来”)牵头,联动浙江大学滨江研究院、杭州电子科技大学、杭钢云计算数据中心、鹏信信息、中控信息多家机构,覆盖多场景开展示范应用,探索将AI业务目标、风险边界和责任要求,转化为一套可验证、可控制、可信任的治理机制。

直面痛点:智能体“想干啥、干了啥、干成了啥”

在项目团队看来,AI本质上是一个推理引擎——它完成各种任务,人们却往往看不清它的运作过程。

君同未来创始人韩蒙发现,智能体“想干啥、干了啥以及干成了啥”这三件事,恰恰是客户最迫切想知道的,而市场上几乎找不到能清晰回答这些问题的方案。

难在三重夹击:难在任务吞吐量极高,人工审核很难覆盖持续发生的大量任务;难在智能体的推理、规划和执行并不是一条直线,工具返回、环境变化或新信息都可能改变其行动路径;更难在可见的链式思维文本并不等同于真实的工具调用和最终结果,单独扫描“思考过程”,无法判断它是否越权、是否侵害权益、是否带来业务风险。

因此,管住AI,不能只看它“怎么想”,还要持续验证它“做了什么、产生了什么后果”。这正是项目的核心攻关方向:打造一道可伴随、可干预、可校验的“缰绳”。

尤其在交通、水务、金融、政务等场景中,AI一旦出错,后果远不止一次“抽盲盒”式的体验不佳。它可能以政府身份给出错误回答,可能侵害用户权益,甚至造成资源浪费。韩蒙和他的团队所做的,正是从这三个维度切入,为AI的规模应用补上合规、可信与保障的“必修课”。

技术破局:用AI校验AI,构建信任层

信任的前提是可验证。韩蒙认为,要解决AI的信任问题需要两手准备:一手是判断标准,另一手是检测优化工具。而“AI+大模型全生命周期智能治理应用”项目恰恰在这两方面都筑起了技术高墙。

先立标准——像医生体检一样做“三重诊断”。项目将AI体检拆解为三重维度:可量化的指标检测、空间维度的风险识别,以及依赖经验积累的综合判断。三层能力叠加判断风险是否可接受、应当如何处置。

再配工具——两条技术路径形成检测与优化的闭环。

其一是基于语义空间的风险发现与拦截。人类语言千变万化,“房间太热”“温度太高”“感觉又渴又干”意思相近,关键词却天差地别,传统拦截手段根本无从下手。项目团队引入向量化技术,将风险识别从“逐字匹配”升级为语义理解,在语义空间层面对齐风险特征,精准捕捉那些潜藏在多样化表达背后的违规倾向。“只有基于AI在向量空间上的防范能力,才能有效拦截AI带来的泛化风险”。

其二是借助“对抗学习”实现持续优化。检测出问题只是第一步,更重要的是在发现问题后能快速修补漏洞,让AI在每一次“体检”中自我进化,形成检测——发现——修复——再验证的完整闭环。

项目自主研发的“君合”系统可在AI部署前揪出潜在隐患,“君盾”系统则在运行时实现动态无感防护,二者合力覆盖400余种评测能力和100余项防御增强功能,兼容文本、图像、视频、音频等多种模态,使治理从“发现问题”进一步进入“处置问题、持续优化”的闭环。

协同落地:联合体打通底座到场景全链路

如果说技术是“内功”靠自我修炼,那么落地便是“外功”须结伴共创。“AI+大模型全生命周期智能治理应用”项目的一大看点,就是构建了一条从底层算力、到可信治理、达业务场景的完整链路,联合多方力量各司其职、协同作战。

技术侧,君同未来承担“底座”角色。韩蒙介绍,公司负责整体方案设计、技术研发、产品集成与平台搭建,并推动治理能力在具体场景中示范应用。“第一要解决谁来担责,明确AI风险出现后的责任主体;第二要摸清风险藏在哪里,以及如何处置。”杭钢云计算数据中心则提供算力底座——“杭钢云负责算力,我们在算力之上再架一层信任”。杭州电子科技大学在学术理论和工程保障方面持续赋能。

场景侧,真实需求决定了治理不能停留在通用规则上。中控信息为项目提供工业领域大模型的应用场景,并围绕智慧交通等业务提出安全治理需求;鹏信则提供运营商侧大模型应用场景,聚焦AIGC等应用中的治理问题。对项目而言,这些伙伴不仅是应用落地的承接方,更共同界定了哪些错误不可接受、哪些行为需要限制、哪些结果应当作为上线和运行中的验收依据。

“我们几家伙伴组成了这次场景示范项目,业务侧有,底座侧也有,合在一起才真正解决得了问题。”韩蒙表示,这一模式不仅能服务当下的交通、水务、运营商等场景,而且让治理要求能够从“被提出”走向“被验证、被执行、被复用”,未来也具备向更多行业快速复制的潜力。

价值前瞻:为AI高质量发展保驾护航

“如果杭州是一座大金矿,所有人都在挖掘人工智能的未来,那我们的任务是保障这座金矿安全高效产出价值。”韩蒙如此定义君同未来的角色。在他看来,为这座城市AI的高质量发展保驾护航,正是团队最大的价值所在。

放眼全球,AI治理正从“可选项”变为“必选项”,监管体系也从模型层面延伸至智能体治理的全新阶段。

2024年欧盟通过《人工智能法案》;2026年我国《智能体规范应用与创新发展实施意见》正式出台,《网络安全法》完成修订施行,金融行业首份AI全流程专项指导文件更明确了“谁使用谁负责”。

“AI发展越快,应用场景越多,治理需求就越迫切。国家立法越完善,我们的作用就越显著。”韩蒙表示,从模型到产品,从产品到场景,再到整个产业链,项目串联起AI全生命周期的治理闭环。这正是君同未来与联合体伙伴们,在杭州这片AI创新的热土上持续深耕的方向。