行业新闻

IBM专家:希望AI开发人员证明他们算法的公正性

乌镇智库编译

人工智能携带着“无所不能”的算法,地位节节攀升,默默执行许多跟日常生活息息相关的任务,普通看官对于算法的仰视程度不亚于星辰大海。

但它总是隔三差五出点岔子,有些媒体总是看热闹不嫌事儿大的危言耸听,比如社交网络上的自动过滤器有时候会漏掉一些仇恨言论,算法的偏差可能就会导致这些黑色区域被过渡管制。

图片|亚马逊的人脸识别曾经闹出的“乌龙”

虽然在未来,算法的准确性可能不会有人质疑,甚至算法的透明度都不会成为一个问题。但目前随着算法偏差引起的问题慢慢浮出水面,专家提出各种各样的解决方案,让人工智能对普通民众来说更加公正且透明,至少能够解决当下的困境。

其中一个提案是让AI项目接受第三方机构进行身份审核,由专家评估他们的代码和数据源,确保AI系统不会对社会存在偏见对待(包括种族、性别、不同社会经济阶层等)。

日前,IBM的专家们提出一个新的保护措施,能让人工智能更安全、透明、公平和有效。他们建议开发人员在销售他们的算法之前,应该同时发布一份sDoc(Supplier’s Declaration of Conformity),作为报告或者用户手册,sDoc显示算法在性能、公平性、风险因素以及安全措施在标准测试中的表现,让客户和所有对其感兴趣的人安全使用。

图片|IBM

在本周三发表的一篇论文中,IBM的专家讨论这种透明度有助于建立社会信任,同时能够让潜在客户相信,一个特定的算法不会依靠不确定的数据集来训练去完成任何任务,如果该特定算法试图欺骗客户,理论上客户能够从测试结果中发现端倪,并选择拒绝使用。

IBM专家们在论文中利用sDoc在其他行业中运用的例子,这种做法很少被法律所硬性要求,但是为了防止客户流失,一直都是遵循一个标准墨守成规,比如飞机的自动驾驶功能、桥梁的载重和弹性,因为这些东西都有行业标准,都会从头到尾进行测试,但是目前还没有相应的测试来确保人工智能工具的性能也是如此。

研究人员提出,一份AI sDoc至少回答以下的问题:数据集和模型是否检查过偏差?服务是否有足够强度能够防止攻击者入侵?一般来说,问题会根据算法性能来评估算法,而不是检查它的组件或者代码本身。论文还提出AI sDoc还应该包含的更多内容:

-用于训练的数据集是否有数据表或数据声明?

-是否检查过数据集和模型偏差?如果是,请描述已检查的偏差,公布检查方法和结果。

-是否采取任何缓解措施?如果是,请描述缓解方法。

-算法输出是否可解释?如果是,请描述如何实现可解释性。

-采用什么样的措施来跟踪AI服务的整个数据工作流?

要求开发人员公布sDoc并不能从根本上解决我们日益依赖AI所带来的所有问题,我们知道刹车的原理,但是比之更为复杂的算法(如采用深度学习技术的算法)可能是不可理解的,不过如果基于标准化测试的报告最终产生某些正面影响,每个人都会参与进来,如果竞争对手开始这么做,开发人员就会更有动力着手发布sDoc。

当然,也要政府和企业以及正在使用AI的客户真正关心报告内容时,这个方法才可能行之有效。像洛杉矶警察局(LAPD)这种一直使用明显带有种族主义警务算法的部门,是不是会关注sDoc,寻找更为合适的警务系统,只有天晓得。

报告不可能“强迫”任何人更多的使用“道德”一些的算法,但至少公民可以要求被算法公平对待,也算是人权吧。