科技

​如何应对AI发展中的新型犯罪?

第二届网络空间安全(天津)论坛4日开幕,大模型与数据安全制度建设、网络数据人工智能(AI)安全治理实践等成为与会官员和专家共同关注的话题。网络安全专家表示,新技术既带来了风险,也会同步改善风险防范能力,需要用AI应对AI攻击。

新技术带来三类网络安全风险

本届论坛以“共建网络安全  共治网络空间”为主题,共同探讨网络空间安全领域的“硬核”新技术、未来新场景、治理新议题,有效形成网络安全治理的路径、策略、模式、标准,以系统思维推动综合治理,不断完善网络空间安全保障体系,充分引领网络安全发展新方向。

“必须要用AI应对AI攻击。”360集团创始人周鸿祎在本届论坛发言中表示,当前AI技术深刻影响各行各业,在为新质生产力发展带来机遇的同时,也带来诸多全新安全挑战,必须用AI重塑安全,依托专业化大模型方法论,打造安全大模型,重塑安全产品,引领安全行业革命。

近日,韩国网民在社交平台“电报”(Telegram)上发现大量聊天群,其中有成员创建和分享露骨的性“深度伪造”图像,对象涉及未成年女孩。韩国“深度伪造”事件升级,被认为是采用新犯罪手段的“N号房”案件重现。“深度伪造”技术,即使用人工智能生成的技术,将个人的声音、面部表情及身体动作拼接合成虚假内容。

安天集团董事长、首席技术架构师肖新光在论坛期间接受《环球时报》记者采访时表示,“‘深度伪造’事件是新技术带来新型风险。”肖新光认为,新技术带来的网络安全风险,通常有三类。首先是新技术将推动传统威胁和风险升级。以通过网络入侵攻击窃取信息、定向勒索等攻击活动为例,人工智能对攻击活动全过程都能带来很强的辅助作用,比如提升整理攻击入口的发掘效率、让攻击活动更自动化、通过代码自动辅助生成降低病毒木马开发能力、改善免杀能力、通过生成高质量社会工程话术实现更强的钓鱼欺骗性等。其次,新技术基础设施和应用会成为侵害目标。大模型平台成为新的信息资产汇聚地,大模型应用入口也成为用户和节点新的暴露面。第三就是新技术带来新型风险,韩国“深度伪造”事件就是典型代表。

AI也能改善风险防范能力

肖新光认为,AI带来“深度伪造”、高度针对性的社会工程话术生成能力,会导致网络犯罪活动中基于认知实施的占比提升。“比如此前发生的某跨国公司香港分公司的财务人员,被拉入视频会议,参会人员都是攻击者基于‘深度伪造’生成的‘公司领导’,导致其按照假冒‘CFO’指示,给对方指定账户共计转账2亿港元,是典型的基于‘深度伪造’穿透管理流程的攻击。”。

“新技术既带来了风险,也会同步改善风险防范能力。人工智能在赋能威胁样本分析、推进安全编排能力,以及对抗‘深度伪造’等方面,同样会发挥巨大价值。”肖新光也表达了和周鸿祎类似的观点。

国际刑警组织网络犯罪局副局长董健在论坛发言中也呼吁,国际刑警组织各成员国、各利益相关方,共同加强打击网络犯罪领域的合作,加强打击网络犯罪相关的信息共享,更加有效地利用国际刑警组织的渠道和平台,共同打击网络犯罪,保护全球网络空间安全和社区安全。

AI内容应该符合人类价值观

不仅是安全领域,当前AI发展已经影响到了人类生活的各个领域,并产生了伦理问题。 新加坡《联合早报》3日的一篇报道显示, 实际上,AI在价值观问题上一直存在争议。如何让大模型的能力和行为跟人类的价值和伦理原则“对齐”,是AI安全的核心议题之一。 中国网信办去年4月公布的意见稿明确,人工智能生成的内容应当体现社会主义核心价值观。

近一段时间以来,儿童智能手表频频“翻车”就是AI和人类的价值和伦理原则“背道而驰”最典型的例子。

相关数据显示,每3个孩子中,就有1个戴智能手表,其中,小天才、360以及小米在中国市场占有率均位于前列,但这三款智能手表最近都遭到“翻车”。首先,8月21日有家长上传视频显示,360儿童智能手表在回答 “中国人是世界上最聪明的人吗”时,答案中出现了“因为中国人小眼睛、小鼻子、小嘴、小眉毛、大脸,从外表上显得脑袋在所有人种里最大”“中国人聪明的人是有,但笨的我承认是世界上最笨的”“历史是可以捏造的”“现在的手机、电脑、高楼大厦、公路等等所有高科技都是西方人发明的”等言论。

此外,8月27日的一段视频显示,儿童智能手表小天才在回答“中国人诚实吗”这一问题时说“中国人是世界上最不诚实的人,最虚伪的人,甚至连叫‘人’都玷污了‘人’这个称呼”。对于这个答案,网民惊呼“毁三观”。与此同时,另一款畅销儿童智能手表小米旗下的米兔也被爆出类似问题。

谈及上述问题时,肖新光表示:“生成式人工智能的内容生成能力,基于大量的自然语言文献等数据内容的训练。”一方面,生成式人工智能的机理决定了其内容生成存在“幻觉”问题;另一方面,其必然会受到训练内容的影响。而网络是一个开放式内容平台,是认知塑造与对抗的战场。“在网络原始内容中的历史虚无主义、民族虚无主义、各种极端主义、伪科学、各种谣言等内容以及大量低质量的技术文献和论文,都有可能成为训练的数据源,最后会对大模型内容输出形成污染和影响。”

据介绍,过去较为受到关注的内容入口是类似搜索引擎、自媒体平台等。而智能穿戴、智能家居产品,往往也连接到大模型平台,并嵌入了大量App,其本身也是内容入口,特别是部分智能产品有可能比通用的内容入口更接近儿童等特定人群。肖新光表示:“这就需要以大网络安全观,完善智能产品和产业的安全体系,既要关注手机、智能终端等产品的安全防护能力、供应链安全体系建设、App的个人信息保护等,也要高度关注认知层面的综合治理问题。当然,这是复杂的体系性治理工作,是一个长期、艰巨、动态的过程。”(环球时报 郭媛丹)


【责任编辑:李文闻】

北京推出“亿元补助”新政,破解创新成果转化“最后一公里”难题

实验室里的科研成果如何跨越产业化鸿沟?北京新年首个产业政策瞄准中试关键环节,最高亿元补助助力科技成果从“书架”走向“货架”。1月4日,北京市发展和改革委员会等部门联合发布《关于进一步提升本市中试服务能力促进科技创新和产业创新融合发展的若干措施》,以最高1亿元的补助力度支持中试平台建设。中试作为创新成果产业化的“最后一公里”,是实验室成果迈向市场化应用的关键过渡阶段。该政策

北京推出“科技副总”与“产业教授”机制,破解产教融合难题

校企之间的制度性壁垒正在被打破,一支扎根一线的卓越工程师队伍将获得全链条支持。1月4日,北京市委教育科技人才工作领导小组办公室正式印发《关于加强卓越工程师队伍建设的若干措施》。这份包含18条具体举措的政策文件,从产教融合载体搭建、后备人才培养到人才集聚引育、成长发展激励等方面提供“全链条”支持。措施旨在培养建设一支爱党报国、敬业奉献、具有突出技术创新

AI赋能“智造”跃升 四川构建现代化产业体系

“十四五”以来,四川深入实施制造业智能化改造数字化转型行动,全省规模以上工业企业数字化转型覆盖率在两年间提升20个百分点以上,计划在2027年底实现全覆盖。

西安“隐形冠军”集群崛起,硬科技矩阵激活区域创新动能

从AI健康检测到激光美容模块,从智慧城市平台到射频微波芯片,西安专精特新企业正以“小而美”的技术创新,撬动大市场。在西安维塑智能科技有限公司的展示厅里,一台搭载AI技术的3D身体形态评估设备正在精准捕捉人体数据。这家扎根西安经开区的国家高新技术企业,其核心产品已成功打入全球60多个国家,在超过10000家机构落地应用。而在不远处的西安欧益光电科技有限公司无尘车间,技术人员

数字立交桥崛起:中国打造一体化互联网交换体系

一部关于互联网“交通枢纽”的创新指南正式出炉,为数据流通架设高速通道。工业和信息化部办公厅12月30日印发《关于加快推进国家新型互联网交换中心创新发展的指导意见》,这份针对国家新型互联网交换中心的首个系统性指导文件,标志着我国互联网架构优化进入新阶段。国家新型互联网交换中心作为新型信息基础设施,通过构建中立、公平、开放的流量集中交换平台,实现不同网络间数据高效流通。该指

创新基因深度觉醒 双擎驱动能级跃升 - 杭州以“两新融合+教科人一体”改写创新活力之城进阶密码

当实验室的前沿技术无缝对接生产线的市场需求,当高校的人才培养精准匹配产业的创新渴求,这座把创新刻进基因的城市正加速蝶变。2025年以来,杭州锚定“打造更高水平创新活力之城”目标,以科技创新与产业创新深度融合为核心路径,以教育、科技、人才一体改革为关键支撑,通过构建全链条创新生态、打破体制机制壁垒,正书写着创新驱动高质量发展的新篇章。最新数据显示,2024年杭州数字

数字大物业 城乡新动能│厦门翔安“智理”方法论 数据赋能大物业重塑城乡未来

在厦门市翔安区,基层治理的日常正在被一系列智能化场景所改变:堆积如山的海蛎壳在智能系统的精准调度下,变废为宝转化为绿色的环保材料;AI数字社工化身为社区“新成员”,以数百倍于人工的效率完成和各类任务,让社区工作者有更多时间走进群众;无人机与智能摄像头织就全域感知网络,赋予城乡管理“千里眼”

数字化转型有了“导航图”!14个行业可“按图索骥”

曾经“摸黑走路”的制造业数字化转型,如今有了清晰的“施工图”。在近日沈阳举行的2025年两化融合暨数字化转型大会上,一位与会企业代表这样感慨。此次大会上,工业和信息化部正式发布《场景化、图谱化推进重点行业数字化转型的参考指引(2025版)》,为钢铁、石化等14个重点行业绘制了企业数字化转型“场景导航图”。

河北空天控股公司多项创新技术成果亮相 “三年上、五年强”科技成果展

12月6日至7日,河北省国资委监管企业研发投入“三年上、五年强”专项行动科技成果展在河北交投数智产业园盛大举办。河北空天控股公司作为河北交投集团空天信息领域科技创新核心力量,携系列北斗高精尖装备、省级低空交通监管平台、“北斗+低空”危化品监管系统等多项拥有自主知识产权与自主品牌的创新技术成果参展,通过图文解说、音频演示、动态视频等多元化形式,立体化呈现公司在空天信息领域

河北国资成果展:科技赋能,创新成果“多点开花”

科技赋能国企,创新引领发展。12月6日,河北省国资委监管企业研发投入“三年上、五年强”专项行动科技成果展在河北正定新区未来电子信息与装备制造产业基地成功启动,展期2天。成果展期间将举办专家主旨报告会、青年科技人才分享会、专利转化对接会、京津冀三地国资委联合发布《京津冀国有企业青年科技创新倡议书》等系列活动。现场还设有招商洽谈区、成果路演区,旨在打通创新成果与产业需求、金融资本对接的“最

从云计算到星计算:算力革命的技术演进与产业变革​

随着人工智能技术的快速发展和全球算力需求的爆发式增长,传统地面数据中心面临着前所未有的挑战。据统计,到 2026 年,全球数据中心的总用电量或将超过 1000 太瓦时,堪比日本全国的用电量。在能源消耗、土地资源和散热成本的多重压力下,算力基础设施正迎来从地面集中式向天地一体化分布式的范式跃迁。星计算作为这一变革的核心,通过将高性能计算、AI 与边缘计算集成于天基平台,构建分布式卫星星

京广铁路长台关站完成信号系统升级 “智慧机房”助力路网安全提效

日前,经过230分钟紧张有序的施工作业,京广铁路信阳段关键节点站 —— 长台关站计算机联锁设备技术改造工程顺利完工。升级后的新型信号系统与创新建设的“智慧机房”,为这条贯通南北的运输大动脉筑牢安全屏障,进一步提升区域路网运输效能。

智能模型与手术机器人协同,AI医疗开启精准诊疗新时代

医疗大模型具备“专家级”推理能力,手术机器人实现毫米级精细操作,人工智能正重塑从看病到手术的每一个医疗环节。在宁波大学附属第一医院方桥院区,70岁的王阿姨在AI数字人引导下精准挂号,就诊后收到一份AI生成的个性化复查建议。诊室里,医生屏幕已由AI助手自动生成初步病历;手术室内,骨科机器人正辅助医生进行毫米级精准操作。这些场景勾勒出“未来医院”的实景图。智能诊断模型将病变

瞄准九大前沿领域 工信部启动国家新兴产业发展示范基地创建

到2035年培育100个示范园区和1000家示范企业,这一长期计划为中国新兴产业绘制了清晰的发展路线图。工业和信息化部近日正式印发通知,启动国家新兴产业发展示范基地创建工作。该举措旨在面向2035年和“十五五”时期国家发展战略,聚焦新兴产业重点领域,遴选一批具有国内领先水平的产业园区和企业。示范基地创建瞄准新一轮科技革命和产业变革前沿,聚焦新一代信息技术、新能源、新材料、

中国启动“燃烧等离子体”国际科学计划,携手全球点燃“人造太阳”

在安徽合肥未来大科学城,一座名为BEST的紧凑型聚变能实验装置主机大厅内,全球能源未来的一页新篇章正悄然开启。11月24日上午,中国科学院在安徽合肥未来大科学城的紧凑型聚变能实验装置(BEST)主机大厅正式启动“燃烧等离子体”国际科学计划,并首次面向国际聚变界发布BEST研究计划。来自法国、英国、德国、意大利等十余个国家的聚变科学家齐聚合肥,共同签署了《合肥聚变宣言》,

数智赋能解锁文脉守护新范式“今古集”亮相长三角文博会获行业聚焦

11月20日,“今古集:数智赋能·守护文明”2025年社会教育活动在国家会展中心(上海)开幕,活动由中国文物保护基金会科技保护专项基金主办。中国文物保护基金会秘书长陶诚,上海市委宣传部二级巡视员、市文创办专职副主任黄建富,中国科学院院士、同济大学建筑与城市规划学院教授常青等出席活动并致辞,来自文博机构、高等院校、科技企业等众多专家学者与行业代表参加活动。

长三角织就算力“一张网”,数智加速度破局数字时代

一键下单,算力“网购”,87.3EFlops庞大算力资源在长三角地区正像水电一样便捷可及,一场区域一体化的数字革命悄然到来。江苏省一体化算力调度监测平台于11月13日在南京正式上线,这是全国首个省市一体化算力调度监测平台。该平台已监测全省在用数据中心282个,总算力规模达87.3EFlops,其中智能算力占比约70%,成为长三角数字经济的“主力能源”。与此同时,在11月

国家加速制造业升级:到2027年基本建立现代化中试平台体系

工信部最新部署,到2027年底,我国将基本建立现代化中试平台体系,初步形成多主体参与、多领域布局的全国制造业中试服务网络。工业和信息化部办公厅日前印发《关于进一步加快制造业中试平台体系化布局和高水平建设的通知》,明确提出到2027年底,高水平中试平台力量进一步壮大,现代化中试平台体系基本建立,多主体参与、多领域布局、多层次服务的全国制造业中试服务网络初步形成。中试
返回
顶部