声明:本文来自于微信公众号 头号AI玩家（ID:AIGCplayer），作者:卡子，授权转载发布。

我们与恶的距离，和工具有关。

AI，这个史上（也许）最强工具，在恶人手里，也已全副武装。对普通人来说，AI的加入，让种种骗局和伤害，更防不胜防。

试想一下，任何的身影和动作，那张脸可能是你自己，恐怖吗?

个人发布在社交平台的自拍和视频，很容易就可以经过AI换脸、AI绘画技术的处理，被不法分子作为不雅图片和视频的“素材”，兜售或者冒用。

再想一下，铺天盖地看到的信息，都是被基于某种目的制作和散发的，可怕吗?

网络流传的各种截图、聊天记录，本就难以分辨真假，当AI加入“创作”，风格能模仿，逻辑能自洽，还能不知疲倦的批量生产，信息污染，一键达成。

以下这些作恶事件中，都有AI的应用。

AI“炼制”色图模型

一、社交平台出现AI合成儿童软色情照片

5月16日，微博博主“赛博十块鉴定处”发帖称，发现在B站有部分用户上传了AI绘画工具合成的写实风儿童软色情图片。生成的图片内女孩衣着暴露，举止不雅，用户会在评论和动态内分享“图包”。

事件曝光后，因遭到用户举报，目前部分视频已被下架，相关涉事用户账号被封。

图源:赛博十块鉴定处

二、CP29漫展场照被“炼”不雅照

5月6日，有网友投稿微博博主“春日矮男”，称一位网友在某论坛表示不满当天在漫展拍摄的coser场照，于是使用AI绘画工具配合LoRA模型（一种微调模型），将素人的图片经过局部调整“炼”成了“掀裙子”的不雅照。

该投稿在微博公布后，转发量高达2.1万。

图源:春日矮男 via 微博

无独有偶，此前5月3日，博主DeadPrince在微博私信被告知，自己的自拍被陌生人制作成了LoRA模型上传到了绘画模型分享网站Civital，并且有人使用该模型绘制了裸照。

图源:DeadPrince

AI编写假新闻

2月16日，杭州某小区业主群内讨论ChatGPT，一位业主尝试用ChatGPT撰写了一篇假的新闻稿，大致内容为“自2023年3月1日起，杭州将取消限行”。随后这条假新闻就被不明所以的群成员截图传播，甚至上了热搜，最后警方介入调查，涉事业主公开道歉。

图源:浙江之声

AI冒充明星行骗

5月13日，据《每日邮报》报道，一家西班牙小电影公司Peabody Films收到英国著名男星“卷福”本尼迪克特·康伯巴奇的电话，电话里的“卷福”对电影剧本感兴趣，想合作拍电影。但电影公司几次邀约他本人面谈，“卷福”都拒绝了，甚至还提出天价见面费，要该公司先汇款20万英镑再说。

由于感觉不太对劲，电影制作公司向“卷福”经纪公司确认，确认后才发现，这是一场AI骗局。

据电影公司工作人员介绍，如果仅从语音电话看，由于声音相似度高达100%，他们完全相信对方就是“卷福”。

AI换脸生成不雅视频

4月26日，网红“Caro 赖赖_”在微博发文称，自己被外网某社交平台“盗脸”，冒充注册她本人的假账号，并且粉丝只要付费就可以观看自己的不雅视频。

她同时还发现许多明星、博主甚至素人的图片都被制造成了不雅视频，以此途径获利，甚至还提供AI定制服务，使用在线网站的AI技术就可以做到“一键脱衣”。

AI“一键脱衣”

3月28日，“女子地铁照被AI一键脱衣传播”登上微博热搜，照片里的女士是一名小红书博主，而所谓的“裸照”则是她去年7月在平台分享的一张照片。

原图中她衣着正常，但却被有心之人使用AI软件“一键脱衣”，故意全网散播造成恶劣影响。事件发酵后，该博主已向有关部门进行维权。

AI内容难辨真假，海内外加大监管力度

由于AI技术的普及，各大社交媒体平台涌现大量AI生成内容，但AI生成的真人写实感图片和视频、难辨真假的文字稿件，如果你对AI技术没那么了解，很容易“上当”。

比如前段时间，有一位海外网友在Twitter平台发布了一组“时尚教皇”恶搞照片火了。图片里的“假教皇”脱下传统的教袍，换上时尚的白色羽绒服，非常容易让不明真相的路人误会这是真的教皇换装了，但其实是使用AI绘画工具Midjourney绘制的。

由于这组AI生成的图片太过“火爆”，以防路人误解，推特作为平台方，及时将图片标记上了“AI-generated”（AI生成）。

纵观海内外，近期有不少平台及时跟进针对AI内容的监管，发布了人工智能相关的规范和举措。

一、抖音发布《抖音关于人工智能生成内容的平台规范暨行业倡议》

该行业倡议其中的第九条至第十一条，提到了对AI生成内容进行标识以及将对虚拟人提供注册能力，并且会开放用户反馈渠道。

9. 平台将提供统一的人工智能生成内容标识能力，帮助创作者打标，方便用户区分。

10. 平台将提供虚拟人的注册能力，并对已注册的虚拟人形象进行保护。

11. 平台将提供用户反馈渠道，方便用户反馈违规生成内容。

相关文章:《抖音新规落地!虚拟主播终于“合法”，但必须自曝身份、真人驱动》

二、小红书在笔记中添加AI创作标识

在4月底，有部分小红书用户发现，平台开始标记AI生成的内容，并请用户注意甄别真实度。

三、谷歌在2023开发者大会宣布为AI生成图片打水印

谷歌在最近召开的2023年开发者大会上宣布，将确保公司的每一张AI生成图片都内嵌水印，该水印虽然无法以肉眼识别，但谷歌搜索引擎等软件可读取并以标签显示出来，以提示用户该图片由AI生成。在未来的几个月内，这项功能将上线。

此外，我国在2021年就发布了《新一代人工智能伦理规范》，其中涉及战略规划、政策法规和技术标准制定实施，资源配置以及监督审查等。并且在今年3月，网信办发布了《生成式人工智能服务管理规定（征求意见稿）》，对生成式AI服务提供者的行为进行了规范，还包括用户权益保护、信息安全保障、技术安全保障等方面。

放眼海外，意大利政府在今年3月对ChatGPT实施了临时禁令，理由是担心它违反了欧盟的《通用数据保护条例》。5月16日，OpenAI的CEO Sam Altman也在美国参议院就AI技术的潜在危险作证，并且督促立法者对开发GPT-4等先进AI系统的组织实施许可要求和其他法规。

可以看到，目前这些侵害更多还是在信息领域。一方面从物料来看，是相对无主的公共信息，原本茶余饭后街谈巷议的东西，虽然有大量的虚假和臆测，但无非也就是从这个街头传到那个巷口，但就像社交媒体能把信息流放大，恶人们也可以用AI把浊流放大;另一方面从受害者来说，则大多是有口难辨的普通人，发声明也没人看，更很难去发律师函了。尽管法律法规以及平台都在跟进对AI技术的监管，但普通人的维权成本还是很高。

问题回到恶人，当他们藏身于网络背后，管住他们手里的刀成为一个必须去做的事。