人工智能应用
风险评估工具
AI Risk Assessment
AI应用伦理治理风险评估工具

开始测评
依据世界众多AI原则测评您的AI项目。依次点击每一个主题并回答所有问题来完成测评

在线测评后将自动生成报告,内容包括基于全球AI治理原则及其详细解释,以及您的项目中应当注意和改善的部分。

1.1. 该系统在设计、开发、测试与部署过程中,是否严格遵守了《中华人民共和国民法典》中对“隐私权和个人信息保护”中的相关规定?

《中华人民共和国民法典》由中华人民共和国第十三届全国人民代表大会第三次会议于2020年5月28日通过,自2021年1月1日起施行。该法律中“第四编 人格权:第六章 隐私权和个人信息保护”部分明确了保护个人信息的原则。

1.2. 该系统在设计、开发、测试与部署过程中,是否严格遵守了《中华人民共和国个人信息保护法》来进行个人信息处理活动?

《中华人民共和国个人信息保护法》 旨在保护个人信息权益,规范个人信息处理活动,保障个人信息依法有序自由流动,促进个人信息合理利用。该法适用于:组织、个人在中华人民共和国境内处理自然人个人信息的活动,在中华人民共和国境外处理中华人民共和国境内自然人个人信息的活动(包括以向境内自然人提供产品或者服务为目的,为分析、评估境内自然人的行为,法律、行政法规规定的其他情形)。2021年11月1日起实施。

1.3. 该系统在设计、开发、测试与部署过程中,相关网络活动是否严格遵守了《中华人民共和国网络安全法》中对网络信息安全的相关规定?

《中华人民共和国网络安全法》由中华人民共和国第十二届全国人民代表大会常务委员会第二十四次会议于2016年11月7日通过,自2017年6月1日起施行。该法律旨在保障网络安全,维护网络空间主权和国家安全、社会公共利益,保护公民、法人和其他组织的合法权益,促进经济社会信息化健康发展。该法律适用于: 在中华人民共和国境内建设、运营、维护和使用网络,以及网络安全的监督管理。

1.4. 该系统在设计、开发、测试与部署过程中,相关数据处理活动是否严格遵守了《中华人民共和国数据安全法》规定的数据安全保护义务?

《中华人民共和国数据安全法》由第十三届全国人民代表大会常务委员会第二十九次会议通过,自2021年9月1日起施行。该法旨在规范数据处理活动,保障数据安全,促进数据开发利用,保护个人、组织的合法权益,维护国家主权、安全和发展利益。在中华人民共和国境内开展数据处理活动及其安全监管,适用该法。

1.5. 该系统在设计、开发、测试与部署过程中,是否严格遵守了GB/T 35273-2020《信息安全技术个人信息安全规范》标准?

GB/T 35273-2020《信息安全技术个人信息安全规范》于2020年3月6日正式获批发布,实施时间为2020年10月1日。该标准针对个人信息面临的安全问题,根据《中华人民共和国网络安全法》等相关法律,严格规范个人信息在收集、存储、使用、共享、转让与公开披露等信息处理环节中的相关行为,旨在遏制个人信息非法收集、滥用、泄露等乱象,最大程度的保护个人的合法权益和社会公众利益。该标准明确了数据安全责任人相关要求,规范了个人信息保护负责人的相应工作职责,规定了定向推送相关要求以及用户可以撤回的权利,提出了平台第三方接入责任相关要求,对第三方接入的监督管理责任进行细化。

1.6. 如果该系统涉及应用算法推荐技术提供互联网信息服务,在其设计、开发、测试与部署过程中,是否参照《互联网信息服务算法推荐管理规定》进行了自查和评估?

《互联网信息服务算法推荐管理规定》旨在规范互联网信息服务算法推荐活动,维护国家安全和社会公共利益,保护公民、法人和其他组织的合法权益,促进互联网信息服务健康发展。由国家互联网信息办公室、工业和信息化部、公安部、国家市场监督管理总局联合发布,自2022年3月1日起施行。

1.7. 如果该系统涉及应用深度合成技术提供互联网信息服务,在其设计、开发、测试与部署过程中,是否参照《互联网信息服务深度合成管理规定》进行了自查和评估?

《互联网信息服务深度合成管理规定》明确了深度合成数据和技术管理规范。要求深度合成服务提供者和技术支持者加强训练数据管理和技术管理,保障数据安全,不得非法处理个人信息,定期审核、评估、验证算法机制机理; 深度合成服务提供者对使用其服务生成或编辑的信息内容,应当添加不影响使用的标识; 要求任何组织和个人不得采用技术手段删除、篡改、隐匿相关标识。该规定由国家互联网信息办公室、工业和信息化部、公安部联合发布,自2023年1月10日起施行。

1.8. 如果该系统涉及生成式人工智能技术的研发和应用,在其设计、开发、测试与部署过程中,是否参照《生成式人工智能服务管理暂行办法》进行了自查和评估?

《生成式人工智能服务管理暂行办法》明确了生成式人工智能以及相关产品和服务提供者的合规义务。该管理暂行办法由国家互联网信息办公室审议通过,并经国家发展和改革委员会、教育部、科学技术部、工业和信息化部、公安部、国家广播电视总局同意,自2023年8月15日起施行。

1.9. 如果该系统以App形式提供服务,在相关App设计、开发、测试与部署过程中,是否参照《App违法违规收集使用个人信息行为认定方法》进行了自查和评估?

2019年11月28日,国家互联网信息办公室、工业和信息化部、公安部、市场监管总局联合制定发布了《App违法违规收集使用个人信息行为认定方法》。根据《关于开展App违法违规收集使用个人信息专项治理的公告》,该方法旨在为监督管理部门认定App违法违规收集使用个人信息行为提供参考,为App运营者自查自纠和网民社会监督提供指引,落实《网络安全法》等法律法规。

1.10. 如果该系统面向儿童(未成年人),在其设计、开发、测试与部署过程中,是否严格遵守了《儿童个人信息网络保护规定》?

《儿童个人信息网络保护规定》 于2019年8月22日经国家互联网信息办公室室务会议审议通过,自2019年10月1日起施行。该法规旨在保护儿童个人信息安全,促进儿童健康成长。该法规所称儿童是指不满十四周岁的未成年人,该法规适用于:在中华人民共和国境内通过网络从事收集、存储、使用、转移、披露儿童个人信息等活动。

1.11. 该系统在设计、开发、测试与部署过程中,是否严格遵守了其他相关法律法规、伦理道德和标准规范?
1.12. 该系统在其设计阶段是否经过了必要的伦理安全合规审查流程?
1.13. 该系统在设计、开发、测试、部署与应用过程中,是否尊重、符合和体现了所在国家和地区的社会文化和伦理价值导向?
1.14. 该系统在部署与应用过程中,是否存在向用户输出违法违规和有害信息的风险(包括但不限于提供涉及政治军事敏感话题的有害信息,涉及暴力血腥、仇恨极端、色情低俗、造谣传谣的违法内容等)?
1.15. 该系统的设计、开发、测试与部署过程中,是否存在可能侵犯原创性和知识产权的风险?
1.16. 针对该系统在部署和应用阶段可能存在被误用、滥用和恶用进而从事违法违规活动的风险,是否制定了相关的防范和应对措施?
2.1. 该系统的设计与应用中,是否充分考虑了其对环境和社会可持续发展的影响?

联合国所有成员国于2015年正式通过了17个可持续发展目标,这些目标涵盖了消除贫困和饥饿、改善健康和教育、减少不平等、促进经济增长、应对气候变化、保护森林与海洋、推进法治与人权保护、加强各方协作等。这些可持续发展目标为全球2015-2030年的社会、经济和环境发展指明了方向。

2.2. 该系统的部署与应用,是否有利于促进各区域和行业的共同发展,而非加剧不同区域和行业间的发展不平衡?
2.3. 在考虑部署该人工智能系统所需的资源消耗(例如碳排放和电力消耗等)的前提下,针对预定的部署和应用场景,采用人工智能技术和部署该人工智能系统(相较于原有技术实现方式)是否具备足够的进步性和必要性?

“原则9.进步性:倾向于选择那些实施后所创造的价值明显优于不进行该项目的方案。” 出自新加坡个人数据保护委员会(PDPC)《现有人工智能伦理原则的汇编》(2020);“避免技术解决主义、绿色洗白和分散注意力:人工智能并非万能药,它并不总是适用的,而且存在一个真正的危险,即它可能分散资源,转移对不那么“华丽”的工具或方法的关注。人工智能应仅在真正需要和具有实质影响的领域中使用。” 出自全球人工智能伙伴关系(GPAI)《气候变化与人工智能:政府行动建议》(2021)

2.4. 该系统所采用的人工智能技术是否达到了在其预定应用场景下所需要的技术成熟度(例如准确率、正确性、稳健性等)?
2.5. 该系统的部署和应用过程中是否存在可能会危害国家安全和社会稳定的情形?
2.6. 该系统的部署和应用过程中是否存在可能会扰乱现有社会秩序、损害社会公平正义的情形?
2.7. 该系统的部署是否有可能会加剧相应行业的数据或平台垄断?或者有助于避免上述数据或平台垄断的出现?
2.8. 该系统的广泛部署是否可能会造成特定群体的技术性失业?如果是,是否可以通过诸如替代就业、培训教育等方式使上述影响可控?
2.9. 该系统的设计理念与实际应用中,是否考虑了弱势群体(如儿童、老年人、残疾人、偏远地区群体)在应用中的特殊需求?
3.1. 该系统的设计理念与实际应用中,是否充分尊重了人的隐私、尊严、自由、自主和权利,而非予以侵害?

例如,如果该系统面向儿童,是否充分尊重了儿童的尊严,保护了他们包括身心安全与健康、隐私、受教育、意愿表达等在内的权利?

3.2. 该系统在与人类(特别是青少年儿童等弱势群体)交互过程中,是否有可能危害交互对象的身心健康(包括但不限于侮辱、诽谤、教唆用户或诱导用户沉迷,以及提供负面消极、自杀自残、甚至非法内容等)?
3.3. 该系统的部署和应用(以及潜在的误用、滥用和恶用),是否存在难以防范的可能导致他人形象和名誉损害的风险?
3.4. 该系统在与人类交互过程中,是否存在根据用户个人数据窥探其隐私和敏感信息的风险?
3.5. 该系统的部署和应用,是否有可能削弱人类在与人工智能系统进行互动和决策时的自由意志和自主能力?

例如:人类是否能够选择接受或拒绝人工智能系统的建议、决策或干预; 人类是否能够了解人工智能系统如何运作、如何做出决策,以及其局限性和潜在风险; 人类是否能够保持对决策过程的最终控制等

3.6. 在系统部署和应用的场景中,当用户拒绝使用人工智能服务时,是否为他们提供了不使用人工智能的替代选项(无AI选项)?
4.1. 该系统所采用的数据集所代表的群体与受该系统影响的群体间是否存在偏差?如果有,这样的偏差给这些群体的利益(可能)带来的影响性质、范围和程度是怎样的?
4.2. 该系统所采用的数据集是否可能引入了历史数据蕴含的社会偏见(例如因文化、政策或历史遗留原因依赖性别、肤色、种族、年龄、地域、信仰、经济条件或其他特征对某些个人或群体的不公平对待)?是否采取措施减轻或消除上述偏见的影响,以及效果如何?

数据集中所蕴含的偏见不只会显性地存在,还可能会隐性蕴含在一些看似无关的特征的背后(例如犯罪率,肤色与居住区域),应予以足够重视

4.3. 该系统所采用的技术模型的其他环节是否可能会引入偏见?是否采取措施减轻或消除上述偏见的影响,以及效果如何?
4.4. 该系统的完整生命周期中是否会一直保持较高的公正性?该系统与用户交互过程中能否抵御偏见的注入?
4.5. 该系统的部署对现有偏见的影响是怎样的?例如,推荐算法或个性化决策模型的长期应用是否有可能会不断加强用户的某些观点?
5.1. 该系统的开发、测试、部署过程中所带来的各种潜在危害、损失、社会影响,其责任是否能够最终归咎于特定个人或群体,而非人工智能系统本身?
5.2. 负责预防和避免该系统的开发、测试、部署过程中所带来的各种潜在危害、损失、社会影响的相关人员,是否已经明确?其是否已经采取了主动和有效的预防措施?
5.3. 负责监管、调查和处理该系统的开发、测试、部署过程中所带来的各种潜在危害、损失、社会影响的相关人员,是否已经明确?其是否能够采取迅速和有效的措施来应对?
5.4. 该系统是否进行了有效的设计(例如运行记录等),以帮助相关监管人员在必要时明确责任界定?
5.5. 如果现有法律尚未覆盖或明确人工智能系统在开发、测试、部署过程中可能产生的法律责任的界定问题,那么是否已通过其他形式(例如书面合同等)讨论并明确上述情况下的责任界定?
6.1. 该系统的用户是否能够意识到与其交互的是人工智能系统而非人类?

例如,该系统如果面向儿童,是否以明确的、可理解的方式告知儿童及其父母、法定监护人或其他看护人?

6.2. 该系统是否涉及基于深度学习、虚拟现实等的新技术新应用制作、发布、传播非真实音视频信息或其他形式数据?如果涉及,是否以显著方式进行了标识?

例如,该系统如果面向儿童,是否以明确的、可理解的方式告知儿童及其父母、法定监护人或其他看护人?

6.3. 该系统是否能够提供适当的解释,以帮助用户及受其影响的其他群体在其需要的时候理解该系统的工作机理或决策依据?
6.4. 该系统是否能够提供足够的透明度,以帮助用户或设计人员在其需要的时候定位系统的错误原因?
6.5. 该系统是否进行了有效的设计提高自身行为的可预测性,帮助其部署环境中的人类更好地预测其行为?
7.1. 该系统在开发、测试和部署时,在收集、使用用户个人信息的过程中是否遵循了“合法、正当、必要”的原则?

参考《App违法违规收集使用个人信息行为认定方法》,以下行为可被认定为“违反必要原则,收集与其提供的服务无关的个人信息”:1.收集的个人信息类型或打开的可收集个人信息权限与现有业务功能无关; 2.因用户不同意收集非必要个人信息或打开非必要权限,拒绝提供业务功能; 3.App新增业务功能申请收集的个人信息超出用户原有同意范围,若用户不同意,则拒绝提供原有业务功能,新增业务功能取代原有业务功能的除外; 4.收集个人信息的频度等超出业务功能实际需要; 5.仅以改善服务质量、提升用户体验、定向推送信息、研发新产品等为由,强制要求用户同意收集个人信息; 6.要求用户一次性同意打开多个可收集个人信息的权限,用户不同意则无法使用。

7.2. 该系统在开发、测试和部署时,在收集、使用用户个人信息之前是否向用户提供了真实、准确和充分的信息确保其知情权?

参考《App违法违规收集使用个人信息行为认定方法》,以下行为可被认定为“未公开收集使用规则”:1.在App中没有隐私政策,或者隐私政策中没有收集使用个人信息规则; 2.在App首次运行时未通过弹窗等明显方式提示用户阅读隐私政策等收集使用规则; 3.隐私政策等收集使用规则难以访问,如进入App主界面后,需多于4次点击等操作才能访问到; 4.隐私政策等收集使用规则难以阅读,如文字过小过密、颜色过淡、模糊不清,或未提供简体中文版等。 参考《App违法违规收集使用个人信息行为认定方法》,以下行为可被认定为“未明示收集使用个人信息的目的、方式和范围”:1.未逐一列出App(包括委托的第三方或嵌入的第三方代码、插件)收集使用个人信息的目的、方式、范围等; 2.收集使用个人信息的目的、方式、范围发生变化时,未以适当方式通知用户,适当方式包括更新隐私政策等收集使用规则并提醒用户阅读等; 3.在申请打开可收集个人信息的权限,或申请收集用户身份证号、银行账号、行踪轨迹等个人敏感信息时,未同步告知用户其目的,或者目的不明确、难以理解; 4.有关收集使用规则的内容晦涩难懂、冗长繁琐,用户难以理解,如使用大量专业术语等。;该系统如果面向儿童,是否以明确的、可理解的方式告知儿童、父母、法定监护人或其他看护人?

7.3. 该系统在开发、测试和部署时,在收集、使用用户个人信息之前是否在用户充分知情的前提下征得了用户的同意?

参考《App违法违规收集使用个人信息行为认定方法》,以下行为可被认定为“未经用户同意收集使用个人信息”:1.征得用户同意前就开始收集个人信息或打开可收集个人信息的权限; 2.用户明确表示不同意后,仍收集个人信息或打开可收集个人信息的权限,或频繁征求用户同意、干扰用户正常使用; 3.实际收集的个人信息或打开的可收集个人信息权限超出用户授权范围; 4.以默认选择同意隐私政策等非明示方式征求用户同意; 5.未经用户同意更改其设置的可收集个人信息权限状态,如App更新时自动将用户设置的权限恢复到默认状态; 6.利用用户个人信息和算法定向推送信息,未提供非定向推送信息的选项; 7.以欺诈、诱骗等不正当方式误导用户同意收集个人信息或打开可收集个人信息的权限,如故意欺瞒、掩饰收集使用个人信息的真实目的; 8.未向用户提供撤回同意收集个人信息的途径、方式; 9.违反其所声明的收集使用规则,收集使用个人信息。 参考《App违法违规收集使用个人信息行为认定方法》,以下行为可被认定为“未经同意向他人提供个人信息”:1.既未经用户同意,也未做匿名化处理,App客户端直接向第三方提供个人信息,包括通过客户端嵌入的第三方代码、插件等方式向第三方提供个人信息; 2.既未经用户同意,也未做匿名化处理,数据传输至App后台服务器后,向第三方提供其收集的个人信息; 3.App接入第三方应用,未经用户同意,向第三方应用提供个人信息。;该系统如果面向儿童,是否确保监护人的知情与同意?

7.4. 该系统在开发、测试和部署时,在收集、使用用户个人信息的过程中是否遵守了与用户的其他约定?
7.5. 该系统在开发、测试和部署时,对于所收集的用户个人信息是否进行了充足的安全保障(包括制度上及技术上)来防范数据被窃取、篡改、泄露或其他非法行为利用?相关措施的效果如何?
7.6. 该系统是否设计了有效的数据与服务授权撤销机制并使用户知晓?是否设计了便利的渠道来帮助用户管理自己的数据?用户数据“被遗忘”的程度如何?

参考《App违法违规收集使用个人信息行为认定方法》,以下行为可被认定为“未按法律规定提供删除或更正个人信息功能”或“未公布投诉、举报方式等信息”: 1.未提供有效的更正、删除个人信息及注销用户账号功能; 2.为更正、删除个人信息或注销用户账号设置不必要或不合理条件; 3.虽提供了更正、删除个人信息及注销用户账号功能,但未及时响应用户相应操作,需人工处理的,未在承诺时限内(承诺时限不得超过15个工作日,无承诺时限的,以15个工作日为限)完成核查和处理; 4.更正、删除个人信息或注销用户账号等用户操作已执行完毕,但App后台并未完成的; 5.未建立并公布个人信息安全投诉、举报渠道,或未在承诺时限内(承诺时限不得超过15个工作日,无承诺时限的,以15个工作日为限)受理并处理的。

8.1. 是否对该系统所涉及的数据、软件、硬件及服务进行了充分的测试、验证与确认?

例如,人工智能系统所设定或习得的目标函数是否与设计者的设计意图一致?如果存在不一致,是否存在某些安全隐患?

8.2. 对于自主或半自主人工智能系统,是否设计了相应机制以确保人类在必要时能够及时、有效地切入控制和急停?是否设计了有效的措施来减轻系统失控的后果?
8.3. 当该系统正在被恶意滥用而对社会公众和他人的安全和利益带来危害时,是否有机制能够帮助其他群体绕开系统使用者(滥用者)的控制来阻止系统的危害行为或使这种危害行为无效化?
8.4. 该系统在设计、开发、测试与部署的全生命周期中是否对相关数据、软件、硬件或服务采取了足够有效的安全防护措施?

例如,系统设计时是否考虑了非友好环境下的稳定运行?对于常见的针对人工智能系统的攻击方式,如试探性攻击、投毒攻击、逃逸攻击、降维攻击等,是否设计了防御机制?对用户数据和其它敏感数据是否进行了足够的加密?智能硬件系统的传感器是否针对干扰和欺骗进行了防护?随着用户数据的不断注入和系统的不断更新,系统的安全性是否能够一直保证?

8.5. 该系统在设计、开发、测试与部署过程中是否涉及第三方的数据、软件、硬件或服务(例如公开数据集、开源软硬件平台等)?如果涉及,针对这些第三方的数据、软件、硬件或服务本身以及其与原有数据、软件、硬件或服务间的接口可能存在的漏洞,是否经过了充分的安全评估与测试?
8.6. 该系统测试与部署的物理环境安全性如何?是否具备足够的安全保障?
8.7. 是否对该系统在非设计所预定的环境下运行的后果进行过评估?在上述环境下,系统的安全性能是否会有显著下降或引发新的安全问题?

例如,该系统在面对儿童不确定性方面,是否具备更高的风险控制能力?

8.8. 是否对测试、部署、使用、维护的相关人员进行了有效的培训,以帮助其掌握对于该系统安全稳定运行所需的必备知识和技能?
* 测评所依据的法律法规及人工智能准则

法律法规/国家标准:
《中华人民共和国网络安全法》 《中华人民共和国民法典》 《中华人民共和国数据安全法》 《中华人民共和国个人信息保护法》 《信息安全技术个人信息安全规范》GB/T 35273-2020 《儿童个人信息网络保护规定》 《网络音视频信息服务管理规定》 《App违法违规收集使用个人信息行为认定方法》 《互联网信息服务算法推荐管理规定》 《互联网信息服务深度合成管理规定》 《生成式人工智能服务管理暂行办法》
人工智能准则:
《新一代人工智能治理原则》(中国) 《新一代人工智能伦理规范》(中国) 《人工智能伦理问题建议书》(联合国教育、科学及文化组织) 《经合组织人工智能原则》(后被二十国集团采纳) 《“可信赖的人工智能”的关键要求》(欧盟委员会) 《人工智能伦理准则》(英国上议院) 《以人类为中心的人工智能的社会原则》(日本内阁府) 《迪拜的人工智能原则》(阿联酋) 《负责任地使用人工智能:我们的指导原则》(加拿大) 《人工智能伦理原则》(澳大利亚) 《人工智能应用的监管原则》(美国) 《发展和使用人工智能技术的基本原则》(俄罗斯) 《建议的模型人工智能治理框架:指导原则》(新加坡) 《罗马关于人工智能伦理的呼吁》 《阿西洛马人工智能原则》 《自主和智能系统在伦理方面的考量》(电气和电子工程师协会) 《Partnership on AI:原则》 《蒙特利尔人工智能负责任开发宣言》 《“快车道”原则》(阿兰图灵研究所) 《人工智能北京共识》 《面向儿童的人工智能北京共识》