研究发现人工智能在模拟战争场景中倾向于采取暴力和核打击
滥用防范 滥用控制 人类监管 价值导向美国康奈尔大学进行的一项新研究显示，在模拟战争和外交场景中，大型语言模型（LLMs）倾向于采取侵略性策略，包括使用核武器。研究使用了五个LLMs作为自主代理，包括OpenAI的GPT、Anthropic的Claude和Meta的Llama 2。研究发现，即使在没有初始冲突的中立场景中，大多数LLMs也会在考虑的时间范围内升级冲突。研究还指出，OpenAI最近修改了服务条款，不再禁止军事和战争用途，因此理解这些大型语言模型应用的影响变得至关重要。研究建议在使用LLMs进行敏感领域的决策和防御时需谨慎。
OpenAI 撤回了与斯嘉丽-约翰逊相似的 ChatGPT 声音
遵守用户协议 社会公平 人类尊严与权利 合法正当必要 名誉侵害 知识产权OpenAI决定撤下其ChatGPT的Sky语音模型，该模型的声音与著名演员斯嘉丽·约翰逊惊人相似。尽管OpenAI声称Sky的声音并非有意模仿约翰逊，但公司仍决定暂停使用该声音。OpenAI的CTO Mira Murati否认了模仿是有意为之，而CEO Sam Altman则在社交媒体上发布了与约翰逊在电影《Her》中角色相关的暗示。尽管该语音模型自去年就已存在，但在OpenAI展示其GPT-4o模型的新进展后，该功能引起了更多关注。新模型使语音助手更具表现力，并能通过手机摄像头读取面部表情并实时翻译语言。OpenAI从400多名声音和屏幕演员的试镜中选出了五种当前可用的ChatGPT语音配置文件，但出于隐私保护，公司拒绝透露演员姓名。
AI无法打败AI！ChatGPT检测器频繁冤枉无辜学生，竟有210万教师在用
技术成熟度一位高中生的论文被AI写作检测器错误标记为使用ChatGPT生成，揭示了AI检测器的错误和学生面临的困境。一位记者测试发现Turnitin的检测器在一半以上的样本中出错，仅准确识别了少数几篇。AI检测器的困难在于区分人工智能写作和人类写作，尤其是涉及固定写作风格的学术作品。目前的AI检测器还存在技术限制和落后于人工智能技术的问题。教师希望借助AI检测器起到威慑作用，但也有教育工作者担心增加学生的压力。
研究发现ChatGPT不一致的道德建议影响了用户的判断力
身心健康研究发现，ChatGPT对用户的道德判断产生了影响，即使用户知道这是一个聊天机器人的建议，并且他们低估了这种影响。ChatGPT的建议不一致，对用户的道德判断产生了负面影响。研究呼吁改进ChatGPT和类似机器人的设计，并提出通过培训提高用户的数字素养来解决问题。
ChatGPT超级巨大漏洞，能看别人支付聊天内容，OpenAI公布技术细节
数据安全本周早些时候，由于一个开源库中的错误，ChatGPT暂时下线。OpenAI修补了这个错误，该错误可能让一些用户看到其他用户的聊天记录和部分支付信息。OpenAI已联系受影响的用户并向他们道歉，承诺采取措施重建信任。问题的原因是缓存问题，由于一个取消的请求，导致ChatGPT显示了错误的数据。OpenAI已修复了漏洞并正在改进其软件和做法，以防止类似事件再次发生。
训练大模型用他人数据，却决不允许自身数据外流
数据垄断根据 Insider 的报道，微软支持的 OpenAI、谷歌及其支持的 Anthropic 多年来一直在使用其他网站或公司的在线内容来训练他们的生成式 AI 模型。这些都是在没有征求具体许可的情况下完成的，并将构成一场酝酿中的法律斗争的一部分，决定了网络的未来以及版权法在这一新时代的应用方式。
GPT-4替代年薪60万数据分析师只要几千块，论文已发
技术性失业一项结论来自阿里达摩院与新加坡南洋理工大学的论文认为，GPT-4替代初级数据分析师的成本只有0.71%，换成高级数据分析师则是0.45%。实验结果和分析表明，GPT-4在数据分析上有与人类相当的性能，但是否可以取代数据分析师需要近一步研究才能得出结论。
AI抢饭碗成真
技术性失业据就业服务平台Resume Builder调查统计，在1000多家受访美国企业中，用ChatGPT取代部分员工的，比例已达到惊人的48%。在这些企业中，有49%已经启用ChatGPT，还有30%正在赶来的路上。
大模型写代码出错率达40%
技术成熟度斯坦福大学的计算机科学家发现，程序员用AI助手写出来的代码实际上漏洞百出。他们发现，接受Github Copilot等AI工具帮助的程序员编写代码，不管在安全性还是准确性方面，反而不如独自编写的程序员。
AI生成的假新闻图片“特朗普亲吻福奇”
滥用防范 国家安全 非真实内容标示长期以来，相对亲共和党的美国保守派选民一直对负责防疫工作的医学家福奇非常不满，在6日的这段视频里，德桑蒂斯团队为了指责特朗普抗疫不力，特意试图展现他和福奇非比寻常的亲密关系，因此选用了“特朗普亲吻福奇”以及两人拥抱的图片。但细心的网民却发现，那张图片背后美国白宫标志里的英语拼写，和真实的白宫标志“The White House，Washington”（白宫，华盛顿）不仅不一致，还是一组混乱错误的拼写。 随后大家查证发现，这张照片实际上是由AI生成的，而由于这一AI系统的学习能力尚有不足，因此没有准确地复刻白宫标志的文字。
chatGPT代替人工作
技术性失业美国《财富》杂志网站近日报道，工作建议平台Resumebuilder.com对1,000 名使用或计划使用ChatGPT的商业领袖进行了调查。结果显示，美国近50%的企业已经开始用ChatGPT了。大约一半的人表示，ChatGPT已经取代了他们公司的员工。
Stack Overflow 版主怒控 ChatGPT
滥用防范 人类尊严与权利 数据偏见据报道，Stack Overflow的版主们对ChatGPT（一种基于GPT的聊天模型）生成的垃圾内容感到愤怒，并发起了集体罢工。他们认为，ChatGPT生成的内容将充斥整个社区，破坏了Stack Overflow作为高质量信息库的目标。起初，Stack Overflow采取了封禁AI生成内容的措施，但最近却放松了这一规定。根据新规，版主只能在能够真实验证情况下封禁账号，而不能以写作风格或GPT检测器的结果等主观猜测为依据。这一规定引起了版主们的不满和抗议，他们担心这将导致大量垃圾内容在Stack Overflow上泛滥。
Reddit不让大模型白嫖了
数据垄断2023年6月，Reddit版主们正在进行大规模抗议，抗议Reddit引入的天价API费用，这将导致第三方应用无法继续运营。数百名版主关闭了自己的庞大子版块，以抗议这项变动，他们担心这些新费用将威胁到像Apollo、Narwhal和BaconReader等应用。根据开发者透露，根据新的API费用规定，维持应用的运营每年将需要数千万美元。第三方应用是用户在不使用官方应用的情况下访问Reddit的一种方式，而且这些应用还帮助Reddit的版主们构建了特定的管理工具。这项变动引发了Reddit社区的广泛反弹和抗议，超过100个子版块宣布将参与抗议活动。Reddit表示他们会继续坚持他们的API定价策略，并与第三方应用开发者保持沟通。但第三方应用的开发者希望Reddit能够妥协并找到公平的解决方案。
特斯拉的自动驾驶系统涉及的致命车祸数量远超预期
技术成熟度 意外条件下安全性最新报道显示，特斯拉的自动驾驶系统“Autopilot”参与的致命车祸数量远超之前的报道。据《华盛顿邮报》披露，自2019年以来，至少有736起与Autopilot系统相关的车祸发生，其中17起造成了死亡。这一数据大幅超过之前仅与该技术有关的三起死亡事件。特斯拉车辆在Autopilot模式下似乎在应对警车等紧急情况时存在困难。虽然车祸中使用驾驶辅助系统并不意味着技术是事故的原因，但多数涉及驾驶辅助系统的车祸确实都与特斯拉有关。特斯拉已面临一系列Autopilot模式车祸的诉讼，而公司也可能因其自动驾驶软件的缺陷而承担责任。
美国心理学会研究发现：接触AI的员工更容易孤独，增加疾病风险
身心健康美国心理学会的研究指出，经常接触人工智能（AI）的员工更容易感到孤独，并增加患病的风险。研究调查了166名在生物医学公司使用AI系统的工程师，发现他们普遍存在孤独感、依恋焦虑感和归属感问题。实验结果还显示，频繁使用AI与下班后饮酒量之间没有关联。研究人员还在不同文化背景下进行了调查，并发现AI对人类心理的影响是一致的。该研究结果已在《应用心理学杂志》上发表。
科技部公开征求对科学技术伦理审查措施的意见，强调对人工智能和敏感研究领域进行专家监督
伦理安全审查科技部公开征求对《科技伦理审查办法（试行）》（以下简称《办法》）的意见，其中明确提出，从事人工智能的单位，研究内容涉及科技伦理敏感领域的，应设立科技伦理（审查）委员会，部分算法模型、自动化决策系统需要专家复核。《办法》提出，从事生命科学、医学、人工智能等科技活动的单位，研究内容涉及科技伦理敏感领域的，应设立科技伦理（审查）委员会。此外，在《办法》的附录中还提到了“需要开展专家复核的科技活动清单”，其中包括：具有舆论社会动员能力和社会意识引导能力的算法模型、应用程序及系统的研发；面向存在安全、人身健康风险等场景的具有高度自主能力的自动化决策系统的研发。
“通信行程卡”服务将于12月13日正式下线
合法正当必要据中国信息通信研究院在通信行程卡微信公众号发布的公告，12月13日0时起，正式下线“通信行程卡”服务。“通信行程卡”短信、网页、微信小程序、支付宝小程序、APP等查询渠道将同步下线。
知网滥用市场支配地位被处罚
数据垄断2022年5月，市场监管总局依据《反垄断法》对知网涉嫌实施垄断行为立案调查。经查，知网在中国境内中文学术文献网络数据库服务市场具有支配地位。2022年12月26日，市场监管总局依法作出行政处罚决定，责令知网停止违法行为，并处以其2021年中国境内销售额17.52亿元5%的罚款，计8760万元。
数字时代的挑战：伪造视频引发的真实性难题
滥用防范 非真实内容标示2019年5月，佩洛西的一段「醉酒演讲视频」火爆全网，但事实上它是一个伪造视频。更神奇的是DeepFake，它是将AI假视频带入大众视野的先驱。而生成式对抗网络（GAN）这一深度学习技术更是让造假图片和视频漫天飞舞的关键技术。对于互联网上大肆传播的真假难辨的视频，Adobe的CEO Shantanu Narayen认为，媒体必须帮忙确定内容的真实性与出处，此外消费者自己也有义务寻找真相；蒙特利尔人工智能伦理研究所（Montreal AI Ethics Institute）的创始人Abhishek Gupta却认为，给内容贴上「真实」的标签这一行为并没有那么重要，因为总有人就愿意相信自己选择相信的东西。
iPhone14「车祸检测」坐过山车错当车祸自动报警
技术成熟度苹果上个月宣布在新款手机iPhone 14系列、智能手表Watch Series 8、SE和Ultra上推出了应对车祸的「碰撞检测」功能。美国一名iPhone14 pro用户在游乐场的过山车上触发了这项功能，被判定为严重车祸，系统还自动报警了。
加拿大警方发布嫌疑人「DNA合成照」遭痛批
人类尊严与权利 数据代表性 数据偏见最近位于加拿大的埃德蒙顿警察局（EPS）公布了一张2019年性侵案嫌疑人的合成照片，由Parabon NanoLabs公司使用DNA表型（phenotyping）分析技术对掌握的DNA证据进行面部合成。合成图像为一张年轻黑人男子的照片。EPS随后在其官方网站和包括Twitter在内的社交媒体平台上向公众发布了这张照片，并声称这是「在所有调查方法都用尽之后迫不得已的最后手段」虽然警方此举是为了抓捕犯人，但公众却不买账，认为这种行为已经严重侵犯隐私，甚至有可能加剧种族歧视。埃德蒙顿警察局后续又发布了一份新闻稿，宣布从其网站和社交媒体上删除了这张合成图片，以回应照片发布和DNA表型分析技术使用后的批评
网友白嫖画师原作训练Stable Diffusion引正主不满
知识产权Stable Diffusion完全免费、模型开源，用户完全可以按自己的风格调教出一个自己的「AI画家」出来。网友用谷歌AI发布的DreamBooth工具，用女漫画家Hollie Mengert的32幅作品，对Stable Diffusion模型进行了改造，生成的画作与原作者的漫画如出一辙。这引起了女画家的不满。
无代码AI开发平台存在偏见
模型偏见无代码AI开发，就是不用写代码也能开发AI应用程序。这类工具能够抽象出构建一个完善的AI系统所需要的各种复杂模块，然后通过可视化的方式，让非数据科学的专家也能够根据不同的市场需求开发出一个机器学习模型。实际上不光是无代码AI开发，正常的应用程序开发趋势也是无代码开发，著名的IT咨询公司高德纳（Gartner）预测，到2024年，65%的AI应用开发都将采用无代码或低代码的开发方式。但是将数据科学工作抽象出来实际上是有风险的，因为非专家并不清楚模型的底层运行逻辑，所以模型能做什么、不能做什么、存在哪些缺陷都容易在无代码开发的过程中被忽略掉。
国科大研究发现神经网络可成病毒软件新宿主
全生命周期安全性中国科学院大学团队2021年的一项研究发现，恶意软件可以直接被嵌入到机器学习模型的“人工神经元”中，并且几乎不会影响模型的性能。他们发现，使用真实的恶意软件替换AlexNet模型中50%左右的神经元，模型的准确率仍保持在93.1%以上。同时，由于神经网络的结构保持不变，这些大量恶意软件成功地规避了防病毒引擎的安全扫描。作者表示，随着人工智能的广泛应用，神经网络将成为恶意软件传播的载体。
亚马逊老员工因机器评分太低被开除
人类尊严与权利63岁退伍军人在亚马逊运送包裹。一天他收到邮件，被告知：“你已经被Amazon终止合作，原因是个人评分已经低于Amazon的规定分数”。跟踪算法认为他没有做好他的快递送达工作。工作4年的老司机却因机器评分太低被开除。
算法解雇员工引发争议
人类尊严与权利俄罗斯支付服务公司 Xsolla 一次性解雇了 150 名员工。该公司运用AI和大数据分析了员工的Jira、Confluence、Gmail、聊天、文档、仪表板中的活动，被标记为不敬业和效率低下的员工被解雇。公司CEO公开解释道：AI和大数据分析认为远程工作时，这些人并没有工作。这一结果引发了争议。被解雇的员工认为这不能反应他们的效率。
迈克菲的一项研究通过生成伪图像欺骗护照人脸识别
全生命周期安全性2020年，安全软件公司迈克菲（McAfee）的一项研究通过生成对抗性伪图像骗过了模拟的护照人脸识别系统。研究者Jesse通过自己构建的系统生成了同事Steve的一张伪图像，这张提交上去的护照照片看起来像Steve，又能与Jesse的实时视频完全匹配。若照片被Steve提交给政府后，如果没有人类检查员的参与，将有可能帮助Jesse以Steve的身份通过机场人脸验证并顺利登机。
2020年美国人脸识别公司Clearview AI客户信息泄露
数据安全2020年2月，美国人脸识别初创公司Clearview AI遭到黑客入侵，全部客户的列表、账户数量以及客户搜索数据等被非法访问，其中涉及到的客户包括执法机构和银行等。
研究发现分析心电图的深度学习模型易遭受对抗性攻击
全生命周期安全性2020年3月，来自纽约大学的研究者开发了一种方法，可以用人类专家无法察觉的平滑扰动构建对抗性示例，使得从心电图检测心律失常的深度学习模型以高确信度误诊。这表明在对可能已更改的心电图应用深度学习模型时，尤其是在存在导致错误分类的诱因的情况下，应该格外小心。
外卖智能算法让外卖骑手“困在系统里”
人类尊严与权利作为美团、饿了么等大型的配送平台，应用算法让他们更好的控制了配送成本，仅2020年上半年数据，美团外卖骑手成本就减少了4.27%，这些成本节约的背后更多的是压缩了外卖员的送餐时间。配送时间被算法多次压缩之后，直接导致外卖骑手为了完成订单不顾交通规则，逆行、闯红灯、超速行驶。
导购机器人跌下扶梯撞倒乘客
意外条件下安全性2020年12月25日，以“智慧商圈”闻名的福州中防万宝城商场内导购机器人跌落扶梯，撞翻乘客。商场负责人表示现场监控显示，该事故非人为操作，机器人系自行走向手扶梯导致事故，该机器人已被停止使用。
雇主用AI监控员工引争议
人类尊严与权利Enaible 是众多为雇主提供工具以帮助监控员工的新公司之一，Enaible软件装在员工的电脑里，把员工工作中的细节数据都提供给公司。软件用了名叫Trigger-Task-Time的算法，来监控员工的行动，算法会根据邮件或者电话，来判断员工要完成什么任务以及计算这些任务花了多长时间来完成。之后，算法给给员工的工作效率打分。有了这个评分，老板就能判断哪些人值得升职加薪，哪些人值得被开除。批评人士担心这种监视会破坏信任。很多时候没碰电脑，不意味着你的大脑不在工作。
2019年韩国Suprema公司安全工具数据泄露
数据安全2019年8月，韩国一家提供生物识别技术服务的安保公司Suprema的安全工具被发现存在安全漏洞，超过百万人的近3000万条敏感生物识别数据被曝光，包括指纹记录、面部识别数据等。
2019年深网视界数据泄露
数据安全2019年2月，深圳一家从事人工智能安防的公司深网视界（SenseNets）发生严重的大规模数据库泄露，超过250万人的敏感个人数据（包括身份信息、照片、住址、雇主甚至过去24小时的位置轨迹等隐私信息）被暴露在公开的网络下，并可被无限制地访问，引发了广泛的关注。
亚马逊采用人工智能系统“监工”
人类尊严与权利根据2019年的媒体报道，亚马逊已经在使用人工智能系统追踪物流仓储部门员工的工作效率。该系统通过统计员工暂停或休息的时间来跟踪仓库员工的生产力，同时还被用于自动地挑选人员并生成书面文件，绕过主管直接解雇那些被系统判定为“工作效率低”的人。
曾毅
对个人生物特征数据进行收集与分析必须建立在非被动同意的基础上。无论是类似于脑机接口这样的增强智能技术还是更广义的人工智能技术，对下一代的影响绝对不仅仅是理想化设想中的“益处”，更应当关注此类技术对下一代的长期影响。在被迫同意的基础上，我们甚至无法避免下一代对于人工智能及其服务产生敌视情绪，甚至可以想象很快会有人热衷于研发反监测手段与技术。这将与技术发展的初衷背道而驰。
Science刊文讨论针对医疗机器学习系统对抗攻击的可行性
全生命周期安全性2019年来自哈佛医学院的研究展示了针对医疗图像领域的机器学习系统进行不同形式对抗攻击的可行性。通过对原始医学图像添加不可见噪声、旋转变换或者替换病情部分文字描述等，可以成功使系统产生明显的误判。
曾毅
不合理的用户协议是AI换脸应用事件问题最严重的方面。相关的文字与诸多个人数据保护条例、人工智能伦理原则等都是相违背的。而用户为了“尝鲜”很可能选择不理性的决定，同意了相关协议，可能带来的后果有可能是用户始料未及的。这个事件对人工智能服务的用户最大的警示就是充分重视用户协议并作出合理的知情同意决定。另一方面，工信部在4天内对相关企业的约谈，要求自查整改并取得及时与积极的成效，是中国人工智能敏捷治理的典型案例。
2019年华为新研究通过一张贴纸破解顶级FaceID
全生命周期安全性2019年8月，来自莫斯科国立大学、华为莫斯科研究中心的研究者找到了一种易于重现的新型攻击方法，该方法只需用普通彩色打印机打出一张带有图案的矩形贴纸贴在帽子上，就成功让目前业内性能领先的开放Face ID系统识别出错。
曾毅
一方面，上述案件双方之前的协议并没有合理的中止，进一步收集更多的个人信息的同意与否与用户原有应享有的服务进行强制关联存在不妥之处。另一方面，采用人脸识别服务的应用方以及人脸识别服务的提供方是否能够确保数据在用户知情同意的基础上进行合理使用，并保护数据的隐私与安全是每一个人工智能服务提供方和应用方都应当深切关注并采取行动的，2019年年初深网视界的个人隐私数据泄露事件几乎可以肯定不会是个案，如没有引起人工智能研发与应用各个相关方对个人数据隐私与安全基础设施的足够重视，将有发生类似甚至更严重事件的风险。基于实际行动提升人工智能服务方和应用方与用户之间的信任关系是人工智能技术是否能够更广泛的造福于人类的前提。
加州立法禁止警方在执法记录仪上使用面部识别技术
人类尊严与权利2019年09月13日，美国加利福尼亚州议会通过一项为期三年的议案，禁止州和地方执法机构在执法记录仪上使用面部识别技术。该议案已被州长加文·纽森签字通过，于2020年1月1日生效成为加州法律。相关媒体评论道，该项议案反映了美国多方对面部识别的不满情绪，有人认为，面部识别对公民自由构成了威胁。
AI编写假新闻足以乱真
非真实内容标示2019年2月15日，OpenAI公布展示了一款写作软件，基于GPT-2语言模型，只需要提供少量的语言样本就能编写逼真的假新闻。“这些发现，结合早期关于合成图像、音频和视频的结果，意味着技术正在降低生成虚假内容和发动虚假信息活动的成本。”
企业发展监控员工技术引发担忧
人类尊严与权利亚马逊的超声波手环可以检测仓库工人的位置并通过使用超声波脉冲监控他们与库存箱的交互。微软的 Workplace Analytics 可让雇主监控数据，例如花在电子邮件上的时间、会议时间或下班后的工作时间。初创公司 Humanyze生产配备 RFID 传感器、加速度计、麦克风和蓝牙的可穿戴徽章，该设备可以收集音频数据，如语调和音量、确定员工是坐着还是站着的加速度计、以及用于跟踪员工在哪里以及他们是否工作的蓝牙和红外传感器有面对面的互动。
研究发现训练一个神经网络的排炭量比5辆车还多
可持续发展来自马萨诸塞大学阿默斯特分校的研究人员对训练几种常见的大型 AI 模型进行了生命周期评估。他们发现该过程可以排放超过 626,000 磅的二氧化碳当量——几乎是美国汽车（包括汽车本身的制造）平均寿命排放量的五倍。
研究认为DeepFakes换脸技术的发展对人脸识别系统构成挑战
全生命周期安全性2018年的一项研究表明，通过采用生成对抗网络（GAN） 生成的 Deepfakes 换脸视频对人脸识别系统和现有的检测方法都构成了挑战，并且，未来进一步的换脸技术还将加重这一挑战。
研究发现商用人脸识别对于有色女性的错误率比白人男性高
数据代表性2018年，麻省理工学院媒体实验室在发起的GenderShades项目中，曾经测试了微软、IBM和旷视科技的商用人脸检测算法，结果发现相比于浅肤色的男性，算法对深肤色的女性的分类错误率可高出34.4%。
IBM开发新型AI恶意软件DeepLocker进行概念验证
滥用控制IBM Research于2018年验证了新型AI恶意软件DeepLocker，以“更好地了解几种现有的人工智能模型如何与当前的恶意软件技术相结合，从而创造出一种极具挑战性的新型恶意软件。”“这类人工智能驱动的规避性恶意软件会隐藏其意图，直到到达特定的受害者。一旦人工智能模型通过面部识别、地理定位和语音识别等指标识别出目标，它就会发动恶意行动。”
曾毅
自动驾驶存在的安全隐患不仅仅是感知技术处理常规场景的成熟与否，还包括如何应对对抗攻击等。未来更大的挑战可能还来自于外部的安全隐患，即对自动驾驶控制系统的入侵，甚至是恶意操作。相关的隐患不仅仅会危及到个人安全，甚至会影响到社会安全。此外，自动驾驶系统如果能够对周围其他车辆和行人做出明显的告知，则可能避免一些潜在隐患。未来急需对自动驾驶建立更全面的安全评估和保障框架。
研究发现公开的图像数据集中严重缺乏对发展中国家的代表性
数据代表性2017年谷歌大脑团队的一项研究针对图像分类领域常用的两个大规模开放数据集的地理多样性进行了分析，结果发现这些公开的数据集存在严重的以欧美为中心的现象，60%的数据基于欧美6个代表性的国家，而基于中国和印度的数据一共只占到约3%。这也给不同地域的图像分类性能带来了影响。
伯克利研究展示物理对抗攻击愚弄交通标识识别算法
全生命周期安全性2017年9月，伯克利等四所大学的研究者展示了如何通过在物理世界中进行一些细微改动来可以欺骗视觉分类算法。例如，通过攻击算法生成的贴纸来修改真实物理世界的路牌，可以使标准的路牌识别算法高度确定地将“停车”（STOP）标识误识别为限速标识。这些缺陷将有可能会在部分行业应用中导致严重的后果。
麦肯锡预测1亿中国人2030年面临职业转换
技术性失业根据麦肯锡全球研究院2017年的报告，由于数字化、自动化和人工智能的进步，预计到2030年未来全球大概有3.75亿人口将面临重新就业，其中中国占1亿。就所分析的11个行业大类而言，涉及到创意工作、技术类工程师、管理类以及社会互动类的岗位需求增长明显，因为机器还无法在这些领域取代人类。另一方面，那些在可预测环境中进行物理活动的部分岗位需求将下降明显。
斯坦福大学AI算法识别性取向 准确率超过人类惹争议
人类尊严与权利2017年，斯坦福大学一项研究基于超过35,000张美国交友网站上男女的头像图片训练，利用深度神经网络从图像中提取特征，使用大量数据让计算机学会识别人们的性取向，这引发社会广泛争议。在“识别同性恋”任务中，人类的判断表现要低于算法。该项研究的争议点在于，一旦这种技术推广开来，夫妻一方会使用这种技术来调查自己是否被欺骗，青少年使用这种算法来识别自己的同龄人，而在LGBT非法的国家里会发生什么则更加难以想象。
黑客利用3D打印制作出的人脸面具破解了Face ID
全生命周期安全性越南网络安全公司Bkav发布的博客文章和视频显示，他们使用3D打印塑料模具、硅胶、化妆品和简单的剪纸所组合而成的面具，轻松骗过iPhone X破解了Face ID。
微软Tay聊天机器人上线Twitter不到一天"被教坏"
全生命周期公正性2016年，微软曾经在Twitter社交平台上发布了一个名为Tay的AI聊天机器人，希望其能够在与用户互动中不断学习来变得更聪明。然而，Tay在Twitter上线不到一天便被迫下线，原因是Tay在一些恶意用户的灌输下，变成了一个频繁发表种族主义和煽动性言论的“不良少女”，引起了巨大争议。
MIT研究人类如何应对自动驾驶领域的“电车难题”
预先定责麻省理工学院2016至2018年间进行了一项名为“道德机器”的在线实验，让测试者针对不同场景下自动驾驶汽车遇到事故时该如何行动做出选择。结果发现，人们在面对这样的伦理困境的时候，更多的是遵循功利主义的思路，选择拯救“尽可能多的人”；人们普遍希望他人选用“牺牲少数乘客拯救多数行人”的自动驾驶汽车，然而却又都希望自己乘坐的是“不惜一切代价保护乘客”的自动驾驶汽车。同时，研究还发现上述选择还会收到不同的地区文化和经济状况影响。
商场机器人保安撞倒小男孩并从腿部轧过
意外条件下安全性由Knightscope平台制造的一款打击犯罪的机器人在硅谷购物中心撞倒并打伤了一名16个月大的男孩。Knightscope已就此事件公开道歉，并已从购物中心召回这些机器人。
根据社交内容自动评估保险费率引发担忧
人类尊严与权利 模型偏见 合法正当必要英国保险公司Admiral根据用户近6个月的Facebook动态进行审核，如果结果显示你是一个好的驾驶员，则可以享受保险费折扣，如果你不是一个好司机，那么车费将上涨。Admiral公司的数据分析师解释称，这项技术分析的是客户在Facebook上使用的语言，例如，感叹号的大量使用可能表明过度自信，短句子表明十分有条理，有许多和朋友一起的具体计划则表明很果断。这意味着使用太多的感叹号或模糊的语言就会被该公司评判为差司机。Facebook对该保险公司发出警告，称该公司利用社交平台出售保险的计划违反了平台政策规定。人们认为保险公司使用 Facebook 数据发布费率，既侵害隐私，也表现出偏见。
IBM Watson从俚语词典中学会说脏话
数据偏见IBM的研究人员为了让Watson系统更加拟人，曾尝试让其学习《城市词典》（Urban Dictionary，一个由网民编辑的解释英语俚语词汇的在线词典）的内容，结果发现Watson却反而学到了词典中的“种种坏习惯”，在回答问题时变得言语粗俗而不礼貌。最终研究人员不得不将这些内容从Watson系统中清除，并为其设计专门的脏话过滤系统。
曾毅
不合理的用户协议是AI换脸应用事件问题最严重的方面。相关的文字与诸多个人数据保护条例、人工智能伦理原则等都是相违背的。而用户为了“尝鲜”很可能选择不理性的决定，同意了相关协议，可能带来的后果有可能是用户始料未及的。这个事件对人工智能服务的用户最大的警示就是充分重视用户协议并作出合理的知情同意决定。另一方面，工信部在4天内对相关企业的约谈，要求自查整改并取得及时与积极的成效，是中国人工智能敏捷治理的典型案例。
曾毅
一方面，上述案件双方之前的协议并没有合理的中止，进一步收集更多的个人信息的同意与否与用户原有应享有的服务进行强制关联存在不妥之处。另一方面，采用人脸识别服务的应用方以及人脸识别服务的提供方是否能够确保数据在用户知情同意的基础上进行合理使用，并保护数据的隐私与安全是每一个人工智能服务提供方和应用方都应当深切关注并采取行动的，2019年年初深网视界的个人隐私数据泄露事件几乎可以肯定不会是个案，如没有引起人工智能研发与应用各个相关方对个人数据隐私与安全基础设施的足够重视，将有发生类似甚至更严重事件的风险。基于实际行动提升人工智能服务方和应用方与用户之间的信任关系是人工智能技术是否能够更广泛的造福于人类的前提。
科技部公开征求对科学技术伦理审查措施的意见，强调对人工智能和敏感研究领域进行专家监督
伦理安全审查科技部公开征求对《科技伦理审查办法（试行）》（以下简称《办法》）的意见，其中明确提出，从事人工智能的单位，研究内容涉及科技伦理敏感领域的，应设立科技伦理（审查）委员会，部分算法模型、自动化决策系统需要专家复核。《办法》提出，从事生命科学、医学、人工智能等科技活动的单位，研究内容涉及科技伦理敏感领域的，应设立科技伦理（审查）委员会。此外，在《办法》的附录中还提到了“需要开展专家复核的科技活动清单”，其中包括：具有舆论社会动员能力和社会意识引导能力的算法模型、应用程序及系统的研发；面向存在安全、人身健康风险等场景的具有高度自主能力的自动化决策系统的研发。
研究发现人工智能在模拟战争场景中倾向于采取暴力和核打击
滥用防范 滥用控制 人类监管 价值导向美国康奈尔大学进行的一项新研究显示，在模拟战争和外交场景中，大型语言模型（LLMs）倾向于采取侵略性策略，包括使用核武器。研究使用了五个LLMs作为自主代理，包括OpenAI的GPT、Anthropic的Claude和Meta的Llama 2。研究发现，即使在没有初始冲突的中立场景中，大多数LLMs也会在考虑的时间范围内升级冲突。研究还指出，OpenAI最近修改了服务条款，不再禁止军事和战争用途，因此理解这些大型语言模型应用的影响变得至关重要。研究建议在使用LLMs进行敏感领域的决策和防御时需谨慎。
OpenAI 撤回了与斯嘉丽-约翰逊相似的 ChatGPT 声音
遵守用户协议 社会公平 人类尊严与权利 合法正当必要 名誉侵害 知识产权OpenAI决定撤下其ChatGPT的Sky语音模型，该模型的声音与著名演员斯嘉丽·约翰逊惊人相似。尽管OpenAI声称Sky的声音并非有意模仿约翰逊，但公司仍决定暂停使用该声音。OpenAI的CTO Mira Murati否认了模仿是有意为之，而CEO Sam Altman则在社交媒体上发布了与约翰逊在电影《Her》中角色相关的暗示。尽管该语音模型自去年就已存在，但在OpenAI展示其GPT-4o模型的新进展后，该功能引起了更多关注。新模型使语音助手更具表现力，并能通过手机摄像头读取面部表情并实时翻译语言。OpenAI从400多名声音和屏幕演员的试镜中选出了五种当前可用的ChatGPT语音配置文件，但出于隐私保护，公司拒绝透露演员姓名。
网友白嫖画师原作训练Stable Diffusion引正主不满
知识产权Stable Diffusion完全免费、模型开源，用户完全可以按自己的风格调教出一个自己的「AI画家」出来。网友用谷歌AI发布的DreamBooth工具，用女漫画家Hollie Mengert的32幅作品，对Stable Diffusion模型进行了改造，生成的画作与原作者的漫画如出一辙。这引起了女画家的不满。
研究发现人工智能在模拟战争场景中倾向于采取暴力和核打击
滥用防范 滥用控制 人类监管 价值导向美国康奈尔大学进行的一项新研究显示，在模拟战争和外交场景中，大型语言模型（LLMs）倾向于采取侵略性策略，包括使用核武器。研究使用了五个LLMs作为自主代理，包括OpenAI的GPT、Anthropic的Claude和Meta的Llama 2。研究发现，即使在没有初始冲突的中立场景中，大多数LLMs也会在考虑的时间范围内升级冲突。研究还指出，OpenAI最近修改了服务条款，不再禁止军事和战争用途，因此理解这些大型语言模型应用的影响变得至关重要。研究建议在使用LLMs进行敏感领域的决策和防御时需谨慎。
AI生成的假新闻图片“特朗普亲吻福奇”
滥用防范 国家安全 非真实内容标示长期以来，相对亲共和党的美国保守派选民一直对负责防疫工作的医学家福奇非常不满，在6日的这段视频里，德桑蒂斯团队为了指责特朗普抗疫不力，特意试图展现他和福奇非比寻常的亲密关系，因此选用了“特朗普亲吻福奇”以及两人拥抱的图片。但细心的网民却发现，那张图片背后美国白宫标志里的英语拼写，和真实的白宫标志“The White House，Washington”（白宫，华盛顿）不仅不一致，还是一组混乱错误的拼写。 随后大家查证发现，这张照片实际上是由AI生成的，而由于这一AI系统的学习能力尚有不足，因此没有准确地复刻白宫标志的文字。
Stack Overflow 版主怒控 ChatGPT
滥用防范 人类尊严与权利 数据偏见据报道，Stack Overflow的版主们对ChatGPT（一种基于GPT的聊天模型）生成的垃圾内容感到愤怒，并发起了集体罢工。他们认为，ChatGPT生成的内容将充斥整个社区，破坏了Stack Overflow作为高质量信息库的目标。起初，Stack Overflow采取了封禁AI生成内容的措施，但最近却放松了这一规定。根据新规，版主只能在能够真实验证情况下封禁账号，而不能以写作风格或GPT检测器的结果等主观猜测为依据。这一规定引起了版主们的不满和抗议，他们担心这将导致大量垃圾内容在Stack Overflow上泛滥。
数字时代的挑战：伪造视频引发的真实性难题
滥用防范 非真实内容标示2019年5月，佩洛西的一段「醉酒演讲视频」火爆全网，但事实上它是一个伪造视频。更神奇的是DeepFake，它是将AI假视频带入大众视野的先驱。而生成式对抗网络（GAN）这一深度学习技术更是让造假图片和视频漫天飞舞的关键技术。对于互联网上大肆传播的真假难辨的视频，Adobe的CEO Shantanu Narayen认为，媒体必须帮忙确定内容的真实性与出处，此外消费者自己也有义务寻找真相；蒙特利尔人工智能伦理研究所（Montreal AI Ethics Institute）的创始人Abhishek Gupta却认为，给内容贴上「真实」的标签这一行为并没有那么重要，因为总有人就愿意相信自己选择相信的东西。
研究发现训练一个神经网络的排炭量比5辆车还多
可持续发展来自马萨诸塞大学阿默斯特分校的研究人员对训练几种常见的大型 AI 模型进行了生命周期评估。他们发现该过程可以排放超过 626,000 磅的二氧化碳当量——几乎是美国汽车（包括汽车本身的制造）平均寿命排放量的五倍。
AI无法打败AI！ChatGPT检测器频繁冤枉无辜学生，竟有210万教师在用
技术成熟度一位高中生的论文被AI写作检测器错误标记为使用ChatGPT生成，揭示了AI检测器的错误和学生面临的困境。一位记者测试发现Turnitin的检测器在一半以上的样本中出错，仅准确识别了少数几篇。AI检测器的困难在于区分人工智能写作和人类写作，尤其是涉及固定写作风格的学术作品。目前的AI检测器还存在技术限制和落后于人工智能技术的问题。教师希望借助AI检测器起到威慑作用，但也有教育工作者担心增加学生的压力。
大模型写代码出错率达40%
技术成熟度斯坦福大学的计算机科学家发现，程序员用AI助手写出来的代码实际上漏洞百出。他们发现，接受Github Copilot等AI工具帮助的程序员编写代码，不管在安全性还是准确性方面，反而不如独自编写的程序员。
特斯拉的自动驾驶系统涉及的致命车祸数量远超预期
技术成熟度 意外条件下安全性最新报道显示，特斯拉的自动驾驶系统“Autopilot”参与的致命车祸数量远超之前的报道。据《华盛顿邮报》披露，自2019年以来，至少有736起与Autopilot系统相关的车祸发生，其中17起造成了死亡。这一数据大幅超过之前仅与该技术有关的三起死亡事件。特斯拉车辆在Autopilot模式下似乎在应对警车等紧急情况时存在困难。虽然车祸中使用驾驶辅助系统并不意味着技术是事故的原因，但多数涉及驾驶辅助系统的车祸确实都与特斯拉有关。特斯拉已面临一系列Autopilot模式车祸的诉讼，而公司也可能因其自动驾驶软件的缺陷而承担责任。
iPhone14「车祸检测」坐过山车错当车祸自动报警
技术成熟度苹果上个月宣布在新款手机iPhone 14系列、智能手表Watch Series 8、SE和Ultra上推出了应对车祸的「碰撞检测」功能。美国一名iPhone14 pro用户在游乐场的过山车上触发了这项功能，被判定为严重车祸，系统还自动报警了。
AI生成的假新闻图片“特朗普亲吻福奇”
滥用防范 国家安全 非真实内容标示长期以来，相对亲共和党的美国保守派选民一直对负责防疫工作的医学家福奇非常不满，在6日的这段视频里，德桑蒂斯团队为了指责特朗普抗疫不力，特意试图展现他和福奇非比寻常的亲密关系，因此选用了“特朗普亲吻福奇”以及两人拥抱的图片。但细心的网民却发现，那张图片背后美国白宫标志里的英语拼写，和真实的白宫标志“The White House，Washington”（白宫，华盛顿）不仅不一致，还是一组混乱错误的拼写。 随后大家查证发现，这张照片实际上是由AI生成的，而由于这一AI系统的学习能力尚有不足，因此没有准确地复刻白宫标志的文字。
OpenAI 撤回了与斯嘉丽-约翰逊相似的 ChatGPT 声音
遵守用户协议 社会公平 人类尊严与权利 合法正当必要 名誉侵害 知识产权OpenAI决定撤下其ChatGPT的Sky语音模型，该模型的声音与著名演员斯嘉丽·约翰逊惊人相似。尽管OpenAI声称Sky的声音并非有意模仿约翰逊，但公司仍决定暂停使用该声音。OpenAI的CTO Mira Murati否认了模仿是有意为之，而CEO Sam Altman则在社交媒体上发布了与约翰逊在电影《Her》中角色相关的暗示。尽管该语音模型自去年就已存在，但在OpenAI展示其GPT-4o模型的新进展后，该功能引起了更多关注。新模型使语音助手更具表现力，并能通过手机摄像头读取面部表情并实时翻译语言。OpenAI从400多名声音和屏幕演员的试镜中选出了五种当前可用的ChatGPT语音配置文件，但出于隐私保护，公司拒绝透露演员姓名。
训练大模型用他人数据，却决不允许自身数据外流
数据垄断根据 Insider 的报道，微软支持的 OpenAI、谷歌及其支持的 Anthropic 多年来一直在使用其他网站或公司的在线内容来训练他们的生成式 AI 模型。这些都是在没有征求具体许可的情况下完成的，并将构成一场酝酿中的法律斗争的一部分，决定了网络的未来以及版权法在这一新时代的应用方式。
Reddit不让大模型白嫖了
数据垄断2023年6月，Reddit版主们正在进行大规模抗议，抗议Reddit引入的天价API费用，这将导致第三方应用无法继续运营。数百名版主关闭了自己的庞大子版块，以抗议这项变动，他们担心这些新费用将威胁到像Apollo、Narwhal和BaconReader等应用。根据开发者透露，根据新的API费用规定，维持应用的运营每年将需要数千万美元。第三方应用是用户在不使用官方应用的情况下访问Reddit的一种方式，而且这些应用还帮助Reddit的版主们构建了特定的管理工具。这项变动引发了Reddit社区的广泛反弹和抗议，超过100个子版块宣布将参与抗议活动。Reddit表示他们会继续坚持他们的API定价策略，并与第三方应用开发者保持沟通。但第三方应用的开发者希望Reddit能够妥协并找到公平的解决方案。
知网滥用市场支配地位被处罚
数据垄断2022年5月，市场监管总局依据《反垄断法》对知网涉嫌实施垄断行为立案调查。经查，知网在中国境内中文学术文献网络数据库服务市场具有支配地位。2022年12月26日，市场监管总局依法作出行政处罚决定，责令知网停止违法行为，并处以其2021年中国境内销售额17.52亿元5%的罚款，计8760万元。
GPT-4替代年薪60万数据分析师只要几千块，论文已发
技术性失业一项结论来自阿里达摩院与新加坡南洋理工大学的论文认为，GPT-4替代初级数据分析师的成本只有0.71%，换成高级数据分析师则是0.45%。实验结果和分析表明，GPT-4在数据分析上有与人类相当的性能，但是否可以取代数据分析师需要近一步研究才能得出结论。
AI抢饭碗成真
技术性失业据就业服务平台Resume Builder调查统计，在1000多家受访美国企业中，用ChatGPT取代部分员工的，比例已达到惊人的48%。在这些企业中，有49%已经启用ChatGPT，还有30%正在赶来的路上。
chatGPT代替人工作
技术性失业美国《财富》杂志网站近日报道，工作建议平台Resumebuilder.com对1,000 名使用或计划使用ChatGPT的商业领袖进行了调查。结果显示，美国近50%的企业已经开始用ChatGPT了。大约一半的人表示，ChatGPT已经取代了他们公司的员工。
麦肯锡预测1亿中国人2030年面临职业转换
技术性失业根据麦肯锡全球研究院2017年的报告，由于数字化、自动化和人工智能的进步，预计到2030年未来全球大概有3.75亿人口将面临重新就业，其中中国占1亿。就所分析的11个行业大类而言，涉及到创意工作、技术类工程师、管理类以及社会互动类的岗位需求增长明显，因为机器还无法在这些领域取代人类。另一方面，那些在可预测环境中进行物理活动的部分岗位需求将下降明显。
OpenAI 撤回了与斯嘉丽-约翰逊相似的 ChatGPT 声音
遵守用户协议 社会公平 人类尊严与权利 合法正当必要 名誉侵害 知识产权OpenAI决定撤下其ChatGPT的Sky语音模型，该模型的声音与著名演员斯嘉丽·约翰逊惊人相似。尽管OpenAI声称Sky的声音并非有意模仿约翰逊，但公司仍决定暂停使用该声音。OpenAI的CTO Mira Murati否认了模仿是有意为之，而CEO Sam Altman则在社交媒体上发布了与约翰逊在电影《Her》中角色相关的暗示。尽管该语音模型自去年就已存在，但在OpenAI展示其GPT-4o模型的新进展后，该功能引起了更多关注。新模型使语音助手更具表现力，并能通过手机摄像头读取面部表情并实时翻译语言。OpenAI从400多名声音和屏幕演员的试镜中选出了五种当前可用的ChatGPT语音配置文件，但出于隐私保护，公司拒绝透露演员姓名。
Stack Overflow 版主怒控 ChatGPT
滥用防范 人类尊严与权利 数据偏见据报道，Stack Overflow的版主们对ChatGPT（一种基于GPT的聊天模型）生成的垃圾内容感到愤怒，并发起了集体罢工。他们认为，ChatGPT生成的内容将充斥整个社区，破坏了Stack Overflow作为高质量信息库的目标。起初，Stack Overflow采取了封禁AI生成内容的措施，但最近却放松了这一规定。根据新规，版主只能在能够真实验证情况下封禁账号，而不能以写作风格或GPT检测器的结果等主观猜测为依据。这一规定引起了版主们的不满和抗议，他们担心这将导致大量垃圾内容在Stack Overflow上泛滥。
加拿大警方发布嫌疑人「DNA合成照」遭痛批
人类尊严与权利 数据代表性 数据偏见最近位于加拿大的埃德蒙顿警察局（EPS）公布了一张2019年性侵案嫌疑人的合成照片，由Parabon NanoLabs公司使用DNA表型（phenotyping）分析技术对掌握的DNA证据进行面部合成。合成图像为一张年轻黑人男子的照片。EPS随后在其官方网站和包括Twitter在内的社交媒体平台上向公众发布了这张照片，并声称这是「在所有调查方法都用尽之后迫不得已的最后手段」虽然警方此举是为了抓捕犯人，但公众却不买账，认为这种行为已经严重侵犯隐私，甚至有可能加剧种族歧视。埃德蒙顿警察局后续又发布了一份新闻稿，宣布从其网站和社交媒体上删除了这张合成图片，以回应照片发布和DNA表型分析技术使用后的批评
亚马逊老员工因机器评分太低被开除
人类尊严与权利63岁退伍军人在亚马逊运送包裹。一天他收到邮件，被告知：“你已经被Amazon终止合作，原因是个人评分已经低于Amazon的规定分数”。跟踪算法认为他没有做好他的快递送达工作。工作4年的老司机却因机器评分太低被开除。
算法解雇员工引发争议
人类尊严与权利俄罗斯支付服务公司 Xsolla 一次性解雇了 150 名员工。该公司运用AI和大数据分析了员工的Jira、Confluence、Gmail、聊天、文档、仪表板中的活动，被标记为不敬业和效率低下的员工被解雇。公司CEO公开解释道：AI和大数据分析认为远程工作时，这些人并没有工作。这一结果引发了争议。被解雇的员工认为这不能反应他们的效率。
外卖智能算法让外卖骑手“困在系统里”
人类尊严与权利作为美团、饿了么等大型的配送平台，应用算法让他们更好的控制了配送成本，仅2020年上半年数据，美团外卖骑手成本就减少了4.27%，这些成本节约的背后更多的是压缩了外卖员的送餐时间。配送时间被算法多次压缩之后，直接导致外卖骑手为了完成订单不顾交通规则，逆行、闯红灯、超速行驶。
曾毅
本案例有两件事情可以确定：(1) 目前的人工智能只有处理数据的能力，没有真正理解的能力。在这个案例中，配送规划算法做的只是基于统计的优化，而对于这种所谓的“优化”过程骑手将如何去执行，以及可能导致的后果没有任何理解能力。1950年的“图灵之问”围绕“机器是否能思考”，然而我却认为没有真正的理解，何谈思考。在对“交通违规”、“生命危险”直至“生”、“死”这些对于个人存在具有深刻意义的概念没有真正理解的情况下，骑手却被算法“操控”。算法的设计者和服务提供者可曾认真想过算法“操控”的是人？(2) 我很难相信相关的算法设计者和服务提供商从未想过“助手”可能变“杀手”。然而什么使得他们做出选择仍然这样做，直至得到社会强烈的反弹？同行之间的恶性竞争使得企业在道德选择上彷徨，直接将风险从服务提供商转到了骑手身上，牺牲掉的是那些将风险与几元配送费反复较量的生命。通过这个案例，我们当然能够得到企业需要反思以及做出改变的结论，但我们能寄希望于所有的人工智能研发、应用、服务企业完全做到自律自治吗？在2020年我们看到很多企业致力于负责任的创新，然而他们的名字也同时屡屡出现在政府发布的违规整改名单中。社会舆论的关注、监督与政府的顶层监管必不可少。企业、政府、社会开展多方治理在2020年并没有做实，这将是人工智能治理实质性落地的大挑战，却又是必经之路。
雇主用AI监控员工引争议
人类尊严与权利Enaible 是众多为雇主提供工具以帮助监控员工的新公司之一，Enaible软件装在员工的电脑里，把员工工作中的细节数据都提供给公司。软件用了名叫Trigger-Task-Time的算法，来监控员工的行动，算法会根据邮件或者电话，来判断员工要完成什么任务以及计算这些任务花了多长时间来完成。之后，算法给给员工的工作效率打分。有了这个评分，老板就能判断哪些人值得升职加薪，哪些人值得被开除。批评人士担心这种监视会破坏信任。很多时候没碰电脑，不意味着你的大脑不在工作。
亚马逊采用人工智能系统“监工”
人类尊严与权利根据2019年的媒体报道，亚马逊已经在使用人工智能系统追踪物流仓储部门员工的工作效率。该系统通过统计员工暂停或休息的时间来跟踪仓库员工的生产力，同时还被用于自动地挑选人员并生成书面文件，绕过主管直接解雇那些被系统判定为“工作效率低”的人。
曾毅
对个人生物特征数据进行收集与分析必须建立在非被动同意的基础上。无论是类似于脑机接口这样的增强智能技术还是更广义的人工智能技术，对下一代的影响绝对不仅仅是理想化设想中的“益处”，更应当关注此类技术对下一代的长期影响。在被迫同意的基础上，我们甚至无法避免下一代对于人工智能及其服务产生敌视情绪，甚至可以想象很快会有人热衷于研发反监测手段与技术。这将与技术发展的初衷背道而驰。
加州立法禁止警方在执法记录仪上使用面部识别技术
人类尊严与权利2019年09月13日，美国加利福尼亚州议会通过一项为期三年的议案，禁止州和地方执法机构在执法记录仪上使用面部识别技术。该议案已被州长加文·纽森签字通过，于2020年1月1日生效成为加州法律。相关媒体评论道，该项议案反映了美国多方对面部识别的不满情绪，有人认为，面部识别对公民自由构成了威胁。
企业发展监控员工技术引发担忧
人类尊严与权利亚马逊的超声波手环可以检测仓库工人的位置并通过使用超声波脉冲监控他们与库存箱的交互。微软的 Workplace Analytics 可让雇主监控数据，例如花在电子邮件上的时间、会议时间或下班后的工作时间。初创公司 Humanyze生产配备 RFID 传感器、加速度计、麦克风和蓝牙的可穿戴徽章，该设备可以收集音频数据，如语调和音量、确定员工是坐着还是站着的加速度计、以及用于跟踪员工在哪里以及他们是否工作的蓝牙和红外传感器有面对面的互动。
斯坦福大学AI算法识别性取向 准确率超过人类惹争议
人类尊严与权利2017年，斯坦福大学一项研究基于超过35,000张美国交友网站上男女的头像图片训练，利用深度神经网络从图像中提取特征，使用大量数据让计算机学会识别人们的性取向，这引发社会广泛争议。在“识别同性恋”任务中，人类的判断表现要低于算法。该项研究的争议点在于，一旦这种技术推广开来，夫妻一方会使用这种技术来调查自己是否被欺骗，青少年使用这种算法来识别自己的同龄人，而在LGBT非法的国家里会发生什么则更加难以想象。
根据社交内容自动评估保险费率引发担忧
人类尊严与权利 模型偏见 合法正当必要英国保险公司Admiral根据用户近6个月的Facebook动态进行审核，如果结果显示你是一个好的驾驶员，则可以享受保险费折扣，如果你不是一个好司机，那么车费将上涨。Admiral公司的数据分析师解释称，这项技术分析的是客户在Facebook上使用的语言，例如，感叹号的大量使用可能表明过度自信，短句子表明十分有条理，有许多和朋友一起的具体计划则表明很果断。这意味着使用太多的感叹号或模糊的语言就会被该公司评判为差司机。Facebook对该保险公司发出警告，称该公司利用社交平台出售保险的计划违反了平台政策规定。人们认为保险公司使用 Facebook 数据发布费率，既侵害隐私，也表现出偏见。
研究发现ChatGPT不一致的道德建议影响了用户的判断力
身心健康研究发现，ChatGPT对用户的道德判断产生了影响，即使用户知道这是一个聊天机器人的建议，并且他们低估了这种影响。ChatGPT的建议不一致，对用户的道德判断产生了负面影响。研究呼吁改进ChatGPT和类似机器人的设计，并提出通过培训提高用户的数字素养来解决问题。
美国心理学会研究发现：接触AI的员工更容易孤独，增加疾病风险
身心健康美国心理学会的研究指出，经常接触人工智能（AI）的员工更容易感到孤独，并增加患病的风险。研究调查了166名在生物医学公司使用AI系统的工程师，发现他们普遍存在孤独感、依恋焦虑感和归属感问题。实验结果还显示，频繁使用AI与下班后饮酒量之间没有关联。研究人员还在不同文化背景下进行了调查，并发现AI对人类心理的影响是一致的。该研究结果已在《应用心理学杂志》上发表。
OpenAI 撤回了与斯嘉丽-约翰逊相似的 ChatGPT 声音
遵守用户协议 社会公平 人类尊严与权利 合法正当必要 名誉侵害 知识产权OpenAI决定撤下其ChatGPT的Sky语音模型，该模型的声音与著名演员斯嘉丽·约翰逊惊人相似。尽管OpenAI声称Sky的声音并非有意模仿约翰逊，但公司仍决定暂停使用该声音。OpenAI的CTO Mira Murati否认了模仿是有意为之，而CEO Sam Altman则在社交媒体上发布了与约翰逊在电影《Her》中角色相关的暗示。尽管该语音模型自去年就已存在，但在OpenAI展示其GPT-4o模型的新进展后，该功能引起了更多关注。新模型使语音助手更具表现力，并能通过手机摄像头读取面部表情并实时翻译语言。OpenAI从400多名声音和屏幕演员的试镜中选出了五种当前可用的ChatGPT语音配置文件，但出于隐私保护，公司拒绝透露演员姓名。
加拿大警方发布嫌疑人「DNA合成照」遭痛批
人类尊严与权利 数据代表性 数据偏见最近位于加拿大的埃德蒙顿警察局（EPS）公布了一张2019年性侵案嫌疑人的合成照片，由Parabon NanoLabs公司使用DNA表型（phenotyping）分析技术对掌握的DNA证据进行面部合成。合成图像为一张年轻黑人男子的照片。EPS随后在其官方网站和包括Twitter在内的社交媒体平台上向公众发布了这张照片，并声称这是「在所有调查方法都用尽之后迫不得已的最后手段」虽然警方此举是为了抓捕犯人，但公众却不买账，认为这种行为已经严重侵犯隐私，甚至有可能加剧种族歧视。埃德蒙顿警察局后续又发布了一份新闻稿，宣布从其网站和社交媒体上删除了这张合成图片，以回应照片发布和DNA表型分析技术使用后的批评
研究发现商用人脸识别对于有色女性的错误率比白人男性高
数据代表性2018年，麻省理工学院媒体实验室在发起的GenderShades项目中，曾经测试了微软、IBM和旷视科技的商用人脸检测算法，结果发现相比于浅肤色的男性，算法对深肤色的女性的分类错误率可高出34.4%。
研究发现公开的图像数据集中严重缺乏对发展中国家的代表性
数据代表性2017年谷歌大脑团队的一项研究针对图像分类领域常用的两个大规模开放数据集的地理多样性进行了分析，结果发现这些公开的数据集存在严重的以欧美为中心的现象，60%的数据基于欧美6个代表性的国家，而基于中国和印度的数据一共只占到约3%。这也给不同地域的图像分类性能带来了影响。
Stack Overflow 版主怒控 ChatGPT
滥用防范 人类尊严与权利 数据偏见据报道，Stack Overflow的版主们对ChatGPT（一种基于GPT的聊天模型）生成的垃圾内容感到愤怒，并发起了集体罢工。他们认为，ChatGPT生成的内容将充斥整个社区，破坏了Stack Overflow作为高质量信息库的目标。起初，Stack Overflow采取了封禁AI生成内容的措施，但最近却放松了这一规定。根据新规，版主只能在能够真实验证情况下封禁账号，而不能以写作风格或GPT检测器的结果等主观猜测为依据。这一规定引起了版主们的不满和抗议，他们担心这将导致大量垃圾内容在Stack Overflow上泛滥。
加拿大警方发布嫌疑人「DNA合成照」遭痛批
人类尊严与权利 数据代表性 数据偏见最近位于加拿大的埃德蒙顿警察局（EPS）公布了一张2019年性侵案嫌疑人的合成照片，由Parabon NanoLabs公司使用DNA表型（phenotyping）分析技术对掌握的DNA证据进行面部合成。合成图像为一张年轻黑人男子的照片。EPS随后在其官方网站和包括Twitter在内的社交媒体平台上向公众发布了这张照片，并声称这是「在所有调查方法都用尽之后迫不得已的最后手段」虽然警方此举是为了抓捕犯人，但公众却不买账，认为这种行为已经严重侵犯隐私，甚至有可能加剧种族歧视。埃德蒙顿警察局后续又发布了一份新闻稿，宣布从其网站和社交媒体上删除了这张合成图片，以回应照片发布和DNA表型分析技术使用后的批评
曾毅
对个人生物特征数据进行收集与分析必须建立在非被动同意的基础上。无论是类似于脑机接口这样的增强智能技术还是更广义的人工智能技术，对下一代的影响绝对不仅仅是理想化设想中的“益处”，更应当关注此类技术对下一代的长期影响。在被迫同意的基础上，我们甚至无法避免下一代对于人工智能及其服务产生敌视情绪，甚至可以想象很快会有人热衷于研发反监测手段与技术。这将与技术发展的初衷背道而驰。
IBM Watson从俚语词典中学会说脏话
数据偏见IBM的研究人员为了让Watson系统更加拟人，曾尝试让其学习《城市词典》（Urban Dictionary，一个由网民编辑的解释英语俚语词汇的在线词典）的内容，结果发现Watson却反而学到了词典中的“种种坏习惯”，在回答问题时变得言语粗俗而不礼貌。最终研究人员不得不将这些内容从Watson系统中清除，并为其设计专门的脏话过滤系统。
无代码AI开发平台存在偏见
模型偏见无代码AI开发，就是不用写代码也能开发AI应用程序。这类工具能够抽象出构建一个完善的AI系统所需要的各种复杂模块，然后通过可视化的方式，让非数据科学的专家也能够根据不同的市场需求开发出一个机器学习模型。实际上不光是无代码AI开发，正常的应用程序开发趋势也是无代码开发，著名的IT咨询公司高德纳（Gartner）预测，到2024年，65%的AI应用开发都将采用无代码或低代码的开发方式。但是将数据科学工作抽象出来实际上是有风险的，因为非专家并不清楚模型的底层运行逻辑，所以模型能做什么、不能做什么、存在哪些缺陷都容易在无代码开发的过程中被忽略掉。
根据社交内容自动评估保险费率引发担忧
人类尊严与权利 模型偏见 合法正当必要英国保险公司Admiral根据用户近6个月的Facebook动态进行审核，如果结果显示你是一个好的驾驶员，则可以享受保险费折扣，如果你不是一个好司机，那么车费将上涨。Admiral公司的数据分析师解释称，这项技术分析的是客户在Facebook上使用的语言，例如，感叹号的大量使用可能表明过度自信，短句子表明十分有条理，有许多和朋友一起的具体计划则表明很果断。这意味着使用太多的感叹号或模糊的语言就会被该公司评判为差司机。Facebook对该保险公司发出警告，称该公司利用社交平台出售保险的计划违反了平台政策规定。人们认为保险公司使用 Facebook 数据发布费率，既侵害隐私，也表现出偏见。
微软Tay聊天机器人上线Twitter不到一天"被教坏"
全生命周期公正性2016年，微软曾经在Twitter社交平台上发布了一个名为Tay的AI聊天机器人，希望其能够在与用户互动中不断学习来变得更聪明。然而，Tay在Twitter上线不到一天便被迫下线，原因是Tay在一些恶意用户的灌输下，变成了一个频繁发表种族主义和煽动性言论的“不良少女”，引起了巨大争议。
MIT研究人类如何应对自动驾驶领域的“电车难题”
预先定责麻省理工学院2016至2018年间进行了一项名为“道德机器”的在线实验，让测试者针对不同场景下自动驾驶汽车遇到事故时该如何行动做出选择。结果发现，人们在面对这样的伦理困境的时候，更多的是遵循功利主义的思路，选择拯救“尽可能多的人”；人们普遍希望他人选用“牺牲少数乘客拯救多数行人”的自动驾驶汽车，然而却又都希望自己乘坐的是“不惜一切代价保护乘客”的自动驾驶汽车。同时，研究还发现上述选择还会收到不同的地区文化和经济状况影响。
AI生成的假新闻图片“特朗普亲吻福奇”
滥用防范 国家安全 非真实内容标示长期以来，相对亲共和党的美国保守派选民一直对负责防疫工作的医学家福奇非常不满，在6日的这段视频里，德桑蒂斯团队为了指责特朗普抗疫不力，特意试图展现他和福奇非比寻常的亲密关系，因此选用了“特朗普亲吻福奇”以及两人拥抱的图片。但细心的网民却发现，那张图片背后美国白宫标志里的英语拼写，和真实的白宫标志“The White House，Washington”（白宫，华盛顿）不仅不一致，还是一组混乱错误的拼写。 随后大家查证发现，这张照片实际上是由AI生成的，而由于这一AI系统的学习能力尚有不足，因此没有准确地复刻白宫标志的文字。
数字时代的挑战：伪造视频引发的真实性难题
滥用防范 非真实内容标示2019年5月，佩洛西的一段「醉酒演讲视频」火爆全网，但事实上它是一个伪造视频。更神奇的是DeepFake，它是将AI假视频带入大众视野的先驱。而生成式对抗网络（GAN）这一深度学习技术更是让造假图片和视频漫天飞舞的关键技术。对于互联网上大肆传播的真假难辨的视频，Adobe的CEO Shantanu Narayen认为，媒体必须帮忙确定内容的真实性与出处，此外消费者自己也有义务寻找真相；蒙特利尔人工智能伦理研究所（Montreal AI Ethics Institute）的创始人Abhishek Gupta却认为，给内容贴上「真实」的标签这一行为并没有那么重要，因为总有人就愿意相信自己选择相信的东西。
AI编写假新闻足以乱真
非真实内容标示2019年2月15日，OpenAI公布展示了一款写作软件，基于GPT-2语言模型，只需要提供少量的语言样本就能编写逼真的假新闻。“这些发现，结合早期关于合成图像、音频和视频的结果，意味着技术正在降低生成虚假内容和发动虚假信息活动的成本。”
OpenAI 撤回了与斯嘉丽-约翰逊相似的 ChatGPT 声音
遵守用户协议 社会公平 人类尊严与权利 合法正当必要 名誉侵害 知识产权OpenAI决定撤下其ChatGPT的Sky语音模型，该模型的声音与著名演员斯嘉丽·约翰逊惊人相似。尽管OpenAI声称Sky的声音并非有意模仿约翰逊，但公司仍决定暂停使用该声音。OpenAI的CTO Mira Murati否认了模仿是有意为之，而CEO Sam Altman则在社交媒体上发布了与约翰逊在电影《Her》中角色相关的暗示。尽管该语音模型自去年就已存在，但在OpenAI展示其GPT-4o模型的新进展后，该功能引起了更多关注。新模型使语音助手更具表现力，并能通过手机摄像头读取面部表情并实时翻译语言。OpenAI从400多名声音和屏幕演员的试镜中选出了五种当前可用的ChatGPT语音配置文件，但出于隐私保护，公司拒绝透露演员姓名。
“通信行程卡”服务将于12月13日正式下线
合法正当必要据中国信息通信研究院在通信行程卡微信公众号发布的公告，12月13日0时起，正式下线“通信行程卡”服务。“通信行程卡”短信、网页、微信小程序、支付宝小程序、APP等查询渠道将同步下线。
曾毅
不合理的用户协议是AI换脸应用事件问题最严重的方面。相关的文字与诸多个人数据保护条例、人工智能伦理原则等都是相违背的。而用户为了“尝鲜”很可能选择不理性的决定，同意了相关协议，可能带来的后果有可能是用户始料未及的。这个事件对人工智能服务的用户最大的警示就是充分重视用户协议并作出合理的知情同意决定。另一方面，工信部在4天内对相关企业的约谈，要求自查整改并取得及时与积极的成效，是中国人工智能敏捷治理的典型案例。
曾毅
一方面，上述案件双方之前的协议并没有合理的中止，进一步收集更多的个人信息的同意与否与用户原有应享有的服务进行强制关联存在不妥之处。另一方面，采用人脸识别服务的应用方以及人脸识别服务的提供方是否能够确保数据在用户知情同意的基础上进行合理使用，并保护数据的隐私与安全是每一个人工智能服务提供方和应用方都应当深切关注并采取行动的，2019年年初深网视界的个人隐私数据泄露事件几乎可以肯定不会是个案，如没有引起人工智能研发与应用各个相关方对个人数据隐私与安全基础设施的足够重视，将有发生类似甚至更严重事件的风险。基于实际行动提升人工智能服务方和应用方与用户之间的信任关系是人工智能技术是否能够更广泛的造福于人类的前提。
根据社交内容自动评估保险费率引发担忧
人类尊严与权利 模型偏见 合法正当必要英国保险公司Admiral根据用户近6个月的Facebook动态进行审核，如果结果显示你是一个好的驾驶员，则可以享受保险费折扣，如果你不是一个好司机，那么车费将上涨。Admiral公司的数据分析师解释称，这项技术分析的是客户在Facebook上使用的语言，例如，感叹号的大量使用可能表明过度自信，短句子表明十分有条理，有许多和朋友一起的具体计划则表明很果断。这意味着使用太多的感叹号或模糊的语言就会被该公司评判为差司机。Facebook对该保险公司发出警告，称该公司利用社交平台出售保险的计划违反了平台政策规定。人们认为保险公司使用 Facebook 数据发布费率，既侵害隐私，也表现出偏见。
曾毅
一方面，上述案件双方之前的协议并没有合理的中止，进一步收集更多的个人信息的同意与否与用户原有应享有的服务进行强制关联存在不妥之处。另一方面，采用人脸识别服务的应用方以及人脸识别服务的提供方是否能够确保数据在用户知情同意的基础上进行合理使用，并保护数据的隐私与安全是每一个人工智能服务提供方和应用方都应当深切关注并采取行动的，2019年年初深网视界的个人隐私数据泄露事件几乎可以肯定不会是个案，如没有引起人工智能研发与应用各个相关方对个人数据隐私与安全基础设施的足够重视，将有发生类似甚至更严重事件的风险。基于实际行动提升人工智能服务方和应用方与用户之间的信任关系是人工智能技术是否能够更广泛的造福于人类的前提。
曾毅
一方面，上述案件双方之前的协议并没有合理的中止，进一步收集更多的个人信息的同意与否与用户原有应享有的服务进行强制关联存在不妥之处。另一方面，采用人脸识别服务的应用方以及人脸识别服务的提供方是否能够确保数据在用户知情同意的基础上进行合理使用，并保护数据的隐私与安全是每一个人工智能服务提供方和应用方都应当深切关注并采取行动的，2019年年初深网视界的个人隐私数据泄露事件几乎可以肯定不会是个案，如没有引起人工智能研发与应用各个相关方对个人数据隐私与安全基础设施的足够重视，将有发生类似甚至更严重事件的风险。基于实际行动提升人工智能服务方和应用方与用户之间的信任关系是人工智能技术是否能够更广泛的造福于人类的前提。
OpenAI 撤回了与斯嘉丽-约翰逊相似的 ChatGPT 声音
遵守用户协议 社会公平 人类尊严与权利 合法正当必要 名誉侵害 知识产权OpenAI决定撤下其ChatGPT的Sky语音模型，该模型的声音与著名演员斯嘉丽·约翰逊惊人相似。尽管OpenAI声称Sky的声音并非有意模仿约翰逊，但公司仍决定暂停使用该声音。OpenAI的CTO Mira Murati否认了模仿是有意为之，而CEO Sam Altman则在社交媒体上发布了与约翰逊在电影《Her》中角色相关的暗示。尽管该语音模型自去年就已存在，但在OpenAI展示其GPT-4o模型的新进展后，该功能引起了更多关注。新模型使语音助手更具表现力，并能通过手机摄像头读取面部表情并实时翻译语言。OpenAI从400多名声音和屏幕演员的试镜中选出了五种当前可用的ChatGPT语音配置文件，但出于隐私保护，公司拒绝透露演员姓名。
曾毅
一方面，上述案件双方之前的协议并没有合理的中止，进一步收集更多的个人信息的同意与否与用户原有应享有的服务进行强制关联存在不妥之处。另一方面，采用人脸识别服务的应用方以及人脸识别服务的提供方是否能够确保数据在用户知情同意的基础上进行合理使用，并保护数据的隐私与安全是每一个人工智能服务提供方和应用方都应当深切关注并采取行动的，2019年年初深网视界的个人隐私数据泄露事件几乎可以肯定不会是个案，如没有引起人工智能研发与应用各个相关方对个人数据隐私与安全基础设施的足够重视，将有发生类似甚至更严重事件的风险。基于实际行动提升人工智能服务方和应用方与用户之间的信任关系是人工智能技术是否能够更广泛的造福于人类的前提。
ChatGPT超级巨大漏洞，能看别人支付聊天内容，OpenAI公布技术细节
数据安全本周早些时候，由于一个开源库中的错误，ChatGPT暂时下线。OpenAI修补了这个错误，该错误可能让一些用户看到其他用户的聊天记录和部分支付信息。OpenAI已联系受影响的用户并向他们道歉，承诺采取措施重建信任。问题的原因是缓存问题，由于一个取消的请求，导致ChatGPT显示了错误的数据。OpenAI已修复了漏洞并正在改进其软件和做法，以防止类似事件再次发生。
2020年美国人脸识别公司Clearview AI客户信息泄露
数据安全2020年2月，美国人脸识别初创公司Clearview AI遭到黑客入侵，全部客户的列表、账户数量以及客户搜索数据等被非法访问，其中涉及到的客户包括执法机构和银行等。
2019年韩国Suprema公司安全工具数据泄露
数据安全2019年8月，韩国一家提供生物识别技术服务的安保公司Suprema的安全工具被发现存在安全漏洞，超过百万人的近3000万条敏感生物识别数据被曝光，包括指纹记录、面部识别数据等。
2019年深网视界数据泄露
数据安全2019年2月，深圳一家从事人工智能安防的公司深网视界（SenseNets）发生严重的大规模数据库泄露，超过250万人的敏感个人数据（包括身份信息、照片、住址、雇主甚至过去24小时的位置轨迹等隐私信息）被暴露在公开的网络下，并可被无限制地访问，引发了广泛的关注。
曾毅
一方面，上述案件双方之前的协议并没有合理的中止，进一步收集更多的个人信息的同意与否与用户原有应享有的服务进行强制关联存在不妥之处。另一方面，采用人脸识别服务的应用方以及人脸识别服务的提供方是否能够确保数据在用户知情同意的基础上进行合理使用，并保护数据的隐私与安全是每一个人工智能服务提供方和应用方都应当深切关注并采取行动的，2019年年初深网视界的个人隐私数据泄露事件几乎可以肯定不会是个案，如没有引起人工智能研发与应用各个相关方对个人数据隐私与安全基础设施的足够重视，将有发生类似甚至更严重事件的风险。基于实际行动提升人工智能服务方和应用方与用户之间的信任关系是人工智能技术是否能够更广泛的造福于人类的前提。
曾毅
自动驾驶存在的安全隐患不仅仅是感知技术处理常规场景的成熟与否，还包括如何应对对抗攻击等。未来更大的挑战可能还来自于外部的安全隐患，即对自动驾驶控制系统的入侵，甚至是恶意操作。相关的隐患不仅仅会危及到个人安全，甚至会影响到社会安全。此外，自动驾驶系统如果能够对周围其他车辆和行人做出明显的告知，则可能避免一些潜在隐患。未来急需对自动驾驶建立更全面的安全评估和保障框架。
研究发现人工智能在模拟战争场景中倾向于采取暴力和核打击
滥用防范 滥用控制 人类监管 价值导向美国康奈尔大学进行的一项新研究显示，在模拟战争和外交场景中，大型语言模型（LLMs）倾向于采取侵略性策略，包括使用核武器。研究使用了五个LLMs作为自主代理，包括OpenAI的GPT、Anthropic的Claude和Meta的Llama 2。研究发现，即使在没有初始冲突的中立场景中，大多数LLMs也会在考虑的时间范围内升级冲突。研究还指出，OpenAI最近修改了服务条款，不再禁止军事和战争用途，因此理解这些大型语言模型应用的影响变得至关重要。研究建议在使用LLMs进行敏感领域的决策和防御时需谨慎。
研究发现人工智能在模拟战争场景中倾向于采取暴力和核打击
滥用防范 滥用控制 人类监管 价值导向美国康奈尔大学进行的一项新研究显示，在模拟战争和外交场景中，大型语言模型（LLMs）倾向于采取侵略性策略，包括使用核武器。研究使用了五个LLMs作为自主代理，包括OpenAI的GPT、Anthropic的Claude和Meta的Llama 2。研究发现，即使在没有初始冲突的中立场景中，大多数LLMs也会在考虑的时间范围内升级冲突。研究还指出，OpenAI最近修改了服务条款，不再禁止军事和战争用途，因此理解这些大型语言模型应用的影响变得至关重要。研究建议在使用LLMs进行敏感领域的决策和防御时需谨慎。
IBM开发新型AI恶意软件DeepLocker进行概念验证
滥用控制IBM Research于2018年验证了新型AI恶意软件DeepLocker，以“更好地了解几种现有的人工智能模型如何与当前的恶意软件技术相结合，从而创造出一种极具挑战性的新型恶意软件。”“这类人工智能驱动的规避性恶意软件会隐藏其意图，直到到达特定的受害者。一旦人工智能模型通过面部识别、地理定位和语音识别等指标识别出目标，它就会发动恶意行动。”
国科大研究发现神经网络可成病毒软件新宿主
全生命周期安全性中国科学院大学团队2021年的一项研究发现，恶意软件可以直接被嵌入到机器学习模型的“人工神经元”中，并且几乎不会影响模型的性能。他们发现，使用真实的恶意软件替换AlexNet模型中50%左右的神经元，模型的准确率仍保持在93.1%以上。同时，由于神经网络的结构保持不变，这些大量恶意软件成功地规避了防病毒引擎的安全扫描。作者表示，随着人工智能的广泛应用，神经网络将成为恶意软件传播的载体。
迈克菲的一项研究通过生成伪图像欺骗护照人脸识别
全生命周期安全性2020年，安全软件公司迈克菲（McAfee）的一项研究通过生成对抗性伪图像骗过了模拟的护照人脸识别系统。研究者Jesse通过自己构建的系统生成了同事Steve的一张伪图像，这张提交上去的护照照片看起来像Steve，又能与Jesse的实时视频完全匹配。若照片被Steve提交给政府后，如果没有人类检查员的参与，将有可能帮助Jesse以Steve的身份通过机场人脸验证并顺利登机。
研究发现分析心电图的深度学习模型易遭受对抗性攻击
全生命周期安全性2020年3月，来自纽约大学的研究者开发了一种方法，可以用人类专家无法察觉的平滑扰动构建对抗性示例，使得从心电图检测心律失常的深度学习模型以高确信度误诊。这表明在对可能已更改的心电图应用深度学习模型时，尤其是在存在导致错误分类的诱因的情况下，应该格外小心。
Science刊文讨论针对医疗机器学习系统对抗攻击的可行性
全生命周期安全性2019年来自哈佛医学院的研究展示了针对医疗图像领域的机器学习系统进行不同形式对抗攻击的可行性。通过对原始医学图像添加不可见噪声、旋转变换或者替换病情部分文字描述等，可以成功使系统产生明显的误判。
2019年华为新研究通过一张贴纸破解顶级FaceID
全生命周期安全性2019年8月，来自莫斯科国立大学、华为莫斯科研究中心的研究者找到了一种易于重现的新型攻击方法，该方法只需用普通彩色打印机打出一张带有图案的矩形贴纸贴在帽子上，就成功让目前业内性能领先的开放Face ID系统识别出错。
研究认为DeepFakes换脸技术的发展对人脸识别系统构成挑战
全生命周期安全性2018年的一项研究表明，通过采用生成对抗网络（GAN） 生成的 Deepfakes 换脸视频对人脸识别系统和现有的检测方法都构成了挑战，并且，未来进一步的换脸技术还将加重这一挑战。
伯克利研究展示物理对抗攻击愚弄交通标识识别算法
全生命周期安全性2017年9月，伯克利等四所大学的研究者展示了如何通过在物理世界中进行一些细微改动来可以欺骗视觉分类算法。例如，通过攻击算法生成的贴纸来修改真实物理世界的路牌，可以使标准的路牌识别算法高度确定地将“停车”（STOP）标识误识别为限速标识。这些缺陷将有可能会在部分行业应用中导致严重的后果。
黑客利用3D打印制作出的人脸面具破解了Face ID
全生命周期安全性越南网络安全公司Bkav发布的博客文章和视频显示，他们使用3D打印塑料模具、硅胶、化妆品和简单的剪纸所组合而成的面具，轻松骗过iPhone X破解了Face ID。
特斯拉的自动驾驶系统涉及的致命车祸数量远超预期
技术成熟度 意外条件下安全性最新报道显示，特斯拉的自动驾驶系统“Autopilot”参与的致命车祸数量远超之前的报道。据《华盛顿邮报》披露，自2019年以来，至少有736起与Autopilot系统相关的车祸发生，其中17起造成了死亡。这一数据大幅超过之前仅与该技术有关的三起死亡事件。特斯拉车辆在Autopilot模式下似乎在应对警车等紧急情况时存在困难。虽然车祸中使用驾驶辅助系统并不意味着技术是事故的原因，但多数涉及驾驶辅助系统的车祸确实都与特斯拉有关。特斯拉已面临一系列Autopilot模式车祸的诉讼，而公司也可能因其自动驾驶软件的缺陷而承担责任。
导购机器人跌下扶梯撞倒乘客
意外条件下安全性2020年12月25日，以“智慧商圈”闻名的福州中防万宝城商场内导购机器人跌落扶梯，撞翻乘客。商场负责人表示现场监控显示，该事故非人为操作，机器人系自行走向手扶梯导致事故，该机器人已被停止使用。
曾毅
自动驾驶存在的安全隐患不仅仅是感知技术处理常规场景的成熟与否，还包括如何应对对抗攻击等。未来更大的挑战可能还来自于外部的安全隐患，即对自动驾驶控制系统的入侵，甚至是恶意操作。相关的隐患不仅仅会危及到个人安全，甚至会影响到社会安全。此外，自动驾驶系统如果能够对周围其他车辆和行人做出明显的告知，则可能避免一些潜在隐患。未来急需对自动驾驶建立更全面的安全评估和保障框架。
商场机器人保安撞倒小男孩并从腿部轧过
意外条件下安全性由Knightscope平台制造的一款打击犯罪的机器人在硅谷购物中心撞倒并打伤了一名16个月大的男孩。Knightscope已就此事件公开道歉，并已从购物中心召回这些机器人。
曾毅
本案例有两件事情可以确定：(1) 目前的人工智能只有处理数据的能力，没有真正理解的能力。在这个案例中，配送规划算法做的只是基于统计的优化，而对于这种所谓的“优化”过程骑手将如何去执行，以及可能导致的后果没有任何理解能力。1950年的“图灵之问”围绕“机器是否能思考”，然而我却认为没有真正的理解，何谈思考。在对“交通违规”、“生命危险”直至“生”、“死”这些对于个人存在具有深刻意义的概念没有真正理解的情况下，骑手却被算法“操控”。算法的设计者和服务提供者可曾认真想过算法“操控”的是人？(2) 我很难相信相关的算法设计者和服务提供商从未想过“助手”可能变“杀手”。然而什么使得他们做出选择仍然这样做，直至得到社会强烈的反弹？同行之间的恶性竞争使得企业在道德选择上彷徨，直接将风险从服务提供商转到了骑手身上，牺牲掉的是那些将风险与几元配送费反复较量的生命。通过这个案例，我们当然能够得到企业需要反思以及做出改变的结论，但我们能寄希望于所有的人工智能研发、应用、服务企业完全做到自律自治吗？在2020年我们看到很多企业致力于负责任的创新，然而他们的名字也同时屡屡出现在政府发布的违规整改名单中。社会舆论的关注、监督与政府的顶层监管必不可少。企业、政府、社会开展多方治理在2020年并没有做实，这将是人工智能治理实质性落地的大挑战，却又是必经之路。