本博客就机器的学习的准确度和偏差，分享一些看法。
最近ACLU在一篇博客中做了一项人脸识别实验。他们利用Rekognition建立了一个包含25000张嫌疑犯人脸的数据库，在此数据库的基础上用现有国会议员的照片进行人脸搜索匹配。使用80%的置信度区间，535张人脸中有28张识别出错。识别错误（或者叫误判）率接近5%，准确度接近95%。ACLU没有公布他们使用的数据集、实验方法以及结果的相关细节，所以我们只能基于他们公开发表的东西进行分析。根据他们文中的声称，我们谈以下几点看法：
1、Rekognition人脸识别API的默认置信度阈值为80%，这一置信度阈值对于很大部分应用场景来说是可取的，例如识别社会媒体名流、从某个照片APP中识别长相相像的家庭成员。但是对于公共安全这一场景，这样的置信度阈值却是不可取的。ACLU使用的80%的置信度阈值对于保证对个体的高精度识别来说太低了，可以预见这将会有不少误判。对看重高精度的脸部相似度匹配的使用场景，我们建议使用99%的置信度阈值（正如我们在已公开的文章中阐述的那样）。为了阐明置信度阈值对于误判的影响，我们进行了一项实验。在这项实验中，我们收集了学术界中常用的超过850000张照片作为数据集，然后我们采用类似ACLU在博客中使用的方法，在这一数据集中搜索所有美国国会成员（包括参议院和众议院）的公开照片。
尽管我们的脸部数据集更大（大概是ACLU实验的30倍），当我们将置信度阈值设置在99%的时候，我们实验的错误识别率下降到0。这说明在将人脸识别技术应用到公共安全问题上时，选择合适的置信度区间是十分重要的，这将大大降低误判。
2、在现实生活中的公共安全和执法领域，Rekognition几乎被人们专门用于缩小调查范围，借助人们自身的判断，快速回顾和筛选各种可能性（而不是自动做出决策）。比如，它可以帮助寻找走失的儿童、打击非法交易、防止犯罪等。在这些领域，Rekognition通常只是识别人脸的第一步。在其他的情况下（比如社交媒体），人脸识别不需要二次确认，所以要求的置信度阈值要低一些。
3、除了置信度阈值太低以外，由于ACLU使用的人脸数据库不具有恰当的代表性，其数据本身是有偏差的，因此ACLU的Rekognition实验结果准确性也大大降低了。ACLU使用的人脸照片数据库对Rekognition识别的精度有着实质性影响。
4、像Rekognition这样的基于云端的机器学习应用的优势在于，它是持续改进的。随着我们利用更多的数据改进我们的算法，客户很快就能从这些改进中获益。我们继续聚焦在我们的使命上，我们的使命是使Rekognition变成识别人、物体和场景的最精确、最强大的工具，同时保证结果的准确性不受影响。我们现在已经能够利用Rekognition为客户和世界带来很多的价值，包括打击非法交易、帮助走失儿童重组家庭、减少移动支付欺诈以及提高安全性。我们也对能通过Rekognition持续帮助客户和造福社会感到高兴。
5、有一个普遍的认识误区是：人比机器更擅长人脸和照片的匹配。事实上，美国国家标准与技术研究院（NIST）最近公开了一项人脸识别技术（这些技术比现在使用的Rekognition至少要早2年以上）的研究，他们得出的结论是：即使是那些早期的技术，在人脸识别领域也比人们做得更好。
就ACLU的人脸识别结果，这里再说几句。当新的技术进步出现的时候，我们都应该理解什么是真的，什么不是真的。使用机器学习识别一种食物与通过机器学习匹配人脸找出犯人是不同的，因为后者需要考虑随后的执法行动。后者是一件非常严肃的事，因而需要更高的置信度水平。我们仍然建议，在法律执行过程中应用人脸匹配时，要把置信度阈值设置在99%以上，并且只把匹配结果作为多种合理性中的一种。如果合理地加以应用，机器学习技术将是执法机构的有力助手。我们不应该在温度设置不当而导致披萨被烤坏的情况下，把烤箱也扔了。在辅助进行公共安全作业时，政府如何权衡，合理地设置烤箱的温度（机器学习的置信度水平），是一个值得思考的课题。
英文原文：https://aws.amazon.com/cn/blogs/aws/thoughts-on-machine-learning-accuracy/
译者：周游
