海报新闻首席记者谢强民、记者孙来宾报道：“这些都是AI伪造的我的照片。” “我已经向警察局报案了。”青岛保时捷中心的销售冠军莫成文今年以来遇到了严重的问题。有人利用人工智能（AI）技术，利用您的照片恶意生成色情视频并在互联网上传播。孟倩文在社交平台上发表无奈声明，称“自洁者必自洁”，并要求网友不要相信、传播不实谣言。近年来，随着人工智能技术的快速发展，普通人掌握人工智能工具的门槛越来越低，与之相关的风险也在迅速增加。基于人工智能的人工智能变脸、克隆语音等侵权问题频发。 AI“偷走”他们的脸和声音后，他们失去了名誉、金钱和感觉安全性。一直以来，莫成文的名字经常和保时捷一起出现在热搜榜上。 2023年和2024年连续两年销售170辆保时捷汽车，成为保时捷华北地区销量领先者。她万万没想到，自己靠演戏获得的名气，却成为了关于她的谣言的“导火索”。青岛保时捷中心销售冠军莫成文 今年10月，莫成文发现网络上发布了大量由AI恶意合成的色情视频，而且主角个个都有她的“脸”。这让她又害怕又愤怒。更令人气愤的是，不断有人通过私信取笑她，给她的工作和生活造成了巨大的损害。最终，他决定报警。警方立即展开调查。 10月12日，青岛市公安局李沧分局对涉案人员丁萌萌判处有期徒刑。行政拘留五日。这是去年莫倩文第二次担心此类视频。尽管他有了一些名气，但他却不断被批评“性格不好”，身心俱疲。作为一名互联网“爱好者”，魏先生也有类似的经历。今年5月，南宁市民韦某收到一条奇怪的短信。短信内容如下：“其中包含‘魏某某’裸露上半身与裸体女子亲密接触的视频截图，并配文：‘魏某某，这是我最后一次联系你。我不想让你后悔一辈子，也请看到照片后立即回复，不要等到为时已晚！’”南宁市居民魏先生收到了一条陌生短信。短信中包含“他”裸露躯干与裸体女子亲密的视频截图（受访者提供）。）“当我看到短信时，我很困惑。我的第一反应是，我的信息肯定被泄露了。”当魏某意识到不法分子可能利用人工智能合成照片实施诈骗时，他立即报警。孟倩文和魏某的遭遇并非个例。海报新闻记者注意到，随着人工智能技术的进步，人工智能修改面部、复制声音等现象时有发生，侵犯了人们的名誉和隐私权。今年早些时候，山西太原的配音演员吴岩意外发现自己的声音被被偷偷复制并用作广州一家火锅店宣传片配音的配音演员吴洋竟然与该火锅店合作，矛盾的是，查阅各种记录显示，双方的合作发生在去年。st的宣传视频来自哪里？他找到了对方，立刻给出了回应。为了节省成本，店家直接将之前合作的五羊语音“喂”给了AI。学习后，我们几乎“零成本”地复制并生成新的宣传视频配音。 “我真的很生气，在确认这是人工智能配音的声音之前，我想这是不是我的声音。难道我自己忘记了？听起来太相似了，我都怀疑自己了。”这件事距离被发现已经过去半年了。涉事kingStew餐厅删除了视频，但双方尚未就赔偿达成一致。在此期间，吴阳还发现了另外两个重复他声音的商业视频。作为一名从事配音工作的专业人士，我感到震惊。目前，吴阳正试图通过法律手段维护自己的权利。滥用人工智能的门槛是多少？是不是太低了？记者实测：从无到有只需两分钟。更令人担忧的是，人工智能工具的使用门槛如此之低，以至于用户无法按照自己的意愿阻止他们，无论他们是为了谋取非法利益还是仅仅出于好奇。 “一个无家可归的人闯入了你的房子，请回来！” 10月17日晚，安徽一女子用人工智能工具生成了一张非常逼真的“无家可归者躺在餐厅”的照片，并在吃饭时将其发送给丈夫，看看他会如何反应。谁知丈夫信以为真，立即报警求助。警方赶到现场后确定这是一场虚惊。近日，记者调查发现，多地发生了因“人工智能恶作剧”引发的荒唐事件。在某些情况下，亲戚会在夜间从其他地方赶回来，而在其他情况下，整栋楼都会被逐层搜查。警方警告称，此类行为若情节严重后果可能违反法律红线，相关人员可能会受到逮捕、罚款，情节严重的还会受到刑事指控。以前AI技术只出现在科幻电影中，但现在使用它的门槛有多低？海报新闻记者在现场进行了测量。以“流浪汉闯入民宅”的虚拟视频为测试对象，记者首先拍摄了自家厨房的照片，将照片上传至“科灵AI”、“极萌”等人工智能软件，然后输入提示文字：“一名流浪汉手里拿着一个馒头站在厨房门口。”点击生成按钮后，一张无家可归者站在记者厨房的照片就会出现在你的面前。只要在AI软件中输入这几个字，厨房门口就出现了一个拿着肉包子的“流浪汉”（右图是AI生成的）。 “照片可以用 Photoshop 编辑，但只能用视频编辑记者一边想着，一边继续挑战。根据上面照片的生成，记者继续点击视频生成按钮，添加描述动作的关键词。咬了一口肉面包，看着镜头，笑了笑。几十秒后，任务完成，生成了一段5秒的视频。自然，流浪汉咬了一口面包，向前走了几步，笑了。视频内容非常符合关键词要求，流浪汉走路时，门窗上都能看到阴影。几个人看了半天，没有发现任何明显的瑕疵。整个“照片生成照片，照片生成视频”的过程只需120秒。逼真的图像和视频，您需要昂贵的高端设备和熟练的编码程序员。但现实就摆在我们面前。你所要做的就是下载软件并写一两句话。业内人士指出，AI生成工具已经完成了“单图换脸”、“场景移植”等功能。通过深度学习算法，可以提取人脸特征点和环境元素，快速完成图像融合和动态生成。在此背景下，一些平台对训练语料库管理不善，没有实施合成内容标签要求，导致大量错误信息秘密传播。是否可以用AI来“管理”AI？ AI治理方法亟待迭代更新。人工智能技术正在重塑生产生活方式。从ChatGPT的推出到强大的DeepSeek，人们很快就习惯了使用工具人工智能。工具在短短两年内。然而，迭代更新不仅涉及算法，还涉及相关的利用风险。一阵惊慌和愤怒之后，吴阳又有了新的担忧。他们（犯罪分子）以后会不会用我的声音给我的家人朋友打电话或者进行诈骗？有业内人士认为，判断一个视频或声音是否高度合成的最好方法是用AI来“管理”AI。大规模人工智能智能模型研究员Bang Ji-min表示，从技术角度来看，基于AI技术识别AI内容是最快的方式。例如，专门的deepfake识别模型可用于分析视频和音频中的非自然特征，例如眨眼频率的检测、面部肌肉运动的生理一致性、音频与纯唇之间滑动同步的速度、光源的一致性等，并揭示这些微妙的物理或生理缺陷的线索。马北京竞天公诚律师事务所律师盛军指出，人工智能造成的损害案件持续上升。现有的针对特定民法场景的侵权规则可以针对特定的人工智能应用进行定制，但通常无法针对不同类型的人工智能侵权进行定制。他呼吁人工智能服务提供商加强内容分析和研究，确保技术的合法合规使用。随着人工智能滥用和违规行为的增加，监管层面已启动多项应对措施。 2025年4月，国家互联网信息办公室发起“净化空气、打击人工智能技术滥用”专项行动。第一阶段销毁违法小程序、应用、代理等人工智能产品3500余个，清除违法信息96万余条，删除账号3700余个。 9月1日，《人工制品标签管理办法》《智能生成的合成内容》正式生效，明确要求服务提供商在合成内容中添加元数据标签，以防止“无标签通信”。今年早些时候，最高人民法院刑事三庭庭长陈洪祥在接受媒体采访时表示，针对人工智能“深度假货”带来的新情况、新问题，最高人民法院将加大调查力度，配合有关部门及时出台规范性法律文件和实施细则，完善执法。人工智能妥协对电信网络欺诈犯罪的重要性。他特别指出，欺诈者利用新的AI Deepfake技术不断创新欺诈手段，使得预防和打击欺诈变得越来越困难。对此，人民法院应积极应诉，加强法律支持，完善相关法律规定。洛韦里原本旨在鼓励人工智能生产工具扩散和应用的技术门槛，却无意中打开了人工智能滥用的“潘多拉魔盒”。随着技术的发展，人工智能治理方式也急需迭代升级。