演算法中的局限性比你想像的更常用。
2012年的一则学术科学论文表明,Cognitec公司的脸部电脑控制系统在亚裔美国人头上的整体表现比在非洲人头上差5%到10%。2011年,科学研究相关人员辨认出,在中国、日本和南韩开发的数学模型难以界定非洲人和爪哇人。
在最近的另几项科学研究中,Google和Amazon(Amazon)生产的畅销的智能音箱被辨认出,它们听得懂非美国腔调的可能性比听得懂那些地地道道的使用者要低30%。
2016年的一则科学论文得出结论的推论是,在Google的新闻该文中内嵌的单字常常整体表现出男性和男性的异性恋呆板第一印象。
这是一个难题。
坏消息是,斯坦福大学软件工程和人工智慧生物医学(MIT CSAIL)的科学研究相关人员正在努力找寻软件系统。
一则该文《透过了解潜在结构揭露出和减低演算法仇恨》计划本周在三藩市举行的人工智慧发展联合会人工智慧、伦理道德和社会会议上发表。
斯坦福大学CSAIL的生物学家叙述了一种人工智慧控制系统,它可以透过重新取样使统计数据更加均衡,从而手动“去偏”统计数据。
她们宣称,在一个专门用于试验计算机系统听觉控制系统局限性的统计数据K568进行评估结果时,它表明出了得天独厚的操控性和“减少了进行分类局限性”。
一则相关科学论文的共同作者、科学博士生德米特里·达格尼(Alexander Amini)在这份新闻稿中说,“尤其是脸部进行分类控制技术,现代人通常认为这是几项已经解决了难题的控制技术,尽管很明显,现代人使用的统计数据集常常没有经过适度的审核。”
“随着我们开始看到这类演算法在安全、稽查和其他领域的应用,纠偏这些难题至关重要。”
Amini和他的科学博士生Ava Soleimany和科学博士生Wilko Schwarting和MIT教授Sangeeta Bhatia和Daniela Rus对这篇新科学论文作出了重大贡献。
这并不是斯坦福大学的CSAIL第一次辨认出这个难题——在2018年的一则科学论文中,David Sontag教授和他的同事叙述了一种在不降低预测结果准确性的前提下减少人工智慧仇恨的方法。
但这种方法的特点是一种新颖的、半监督的端到端深度学习演算法,它可以同时学习所需的任务(例如脸部检测)及训练统计数据的底层潜在性结构。
后者使它能够辨认出训练统计数据中隐藏的或隐式的局限性,并在训练过程中手动消除这种局限性,而不需要统计数据预处理或注释。
为了在一个具有“重大社会影响”的真实难题上验证去偏演算法,科学研究相关人员使用40万张图像的统计数据集对DB-VAE数学模型进行了训练,分别将80%和20%的图像分成训练集和验证集。
然后她们在PPB试验统计数据K568对其进行评估结果,该统计数据集包含来自非洲和欧洲各国的1270名男性和男性议员的图像。
结果真的很有希望。
根据科学研究相关人员的说法,DB-VAE不仅能够学习诸如肤色和毛发等脸部特征,还能学习诸如异性恋和年龄等其他特征。
与在个人人口统计统计数据(种族/异性恋)和PPB统计数据K568训练或不训练偏倚的数学模型相比,DB-VAE表明出更高的进行分类准确性,并减少了跨种族和异性恋的进行分类偏倚——该团队表示,这是朝着开发公平和无偏倚的人工智慧控制系统迈出的重要一步。
“公平的开发和部署……控制系统对于防止无意识的歧视和确保这些演算法的长期接受度至关重要,”合著者写道。
“我们预计,拟议中的方法将成为促进现代人工智慧控制系统控制系统性、演算法公平性的额外工具。”
过去十年中,人工智慧犯下的许多错误令人沮丧地描绘了一幅潜在性仇恨的图景。
但这并不是说在更精确、更少仇恨的控制系统方面现代人没有取得进展。
今年6月,微软与人工智慧(AI)公平方面的专家合作,修订并扩展了用于培训Face API的统计数据集。Face API是微软Azure API,提供用于检测、识别和分析图像中的人脸的演算法。
透过科学研究肤色、异性恋和年龄的新统计数据,科学研究相关人员能够将肤色较深的男性和男性的辨认错误率分别降低20倍和9倍。
与此同时,一种新兴的减少演算法局限性的工具有望加速朝着更公正的人工智慧方向发展。
今年5月,Facebook宣布了Fairness Flow,如果演算法根据一个人的种族、异性恋或年龄对他或她作出不公平的判断,它会手动发出警告。
初创企业Pymetrics开源了其局限性检测工具Audit AI。
埃森哲发布了一个工具包,可以手动检测人工智慧演算法中的局限性,并帮助统计数据生物学家减低这种局限性。
在今年5月微软(Microsoft)推出了自己的软件系统后,今年9月,Google推出了What-If工具,这是TensorBoard web dashboard在其TensorFlow机器学习框架上的一个偏误检测功能。
IBM也不逊色,今年秋季发布了AI Fairness 360,这是一款基于云计算的全手动套件,“持续提供关于人工智慧控制系统如何作出决策,并建议进行调整的意见”——比如演算法调整或统计数据均衡——以减低仇恨的影响。
最近,Watson and Cloud Platforms小组的科学研究重点是减低人工智慧数学模型的仇恨,尤其是与人脸识别相关的数学模型。
如果运气好的话,这些努力——再加上斯坦福大学CSAIL的新演算法等开创性工作——将使情况变得更好。