不加入人的判断 这才是大数据面临大的挑战

　　【中国智能制造网 智造快讯】在我们生活的这个时代，有这样一个简单原则：随着数据数量的不断增长，人们判断力的重要性应该逐渐降低。

　　
　　这一论断听上去好像异端邪说，不是吗？现在的管理教育大都是对人们判断力的培养——也就是培养未来“模式匹配”(pattern-matching)的能力，采用的手段通常是让他们接触大量的案例研究和其他类型的例证，以便让他们充满信心地游走在商界江湖。无论是否在商学院，人们总是告诉我们，要相信自己的本能和直觉，尤其在身经百战之后，我们完全可以靠本能和直觉在一眨眼的功夫就做出的判断。
　　
　　但在当今的商业世界中(或许在其他领域也一样)，这却是有害的错误观念。正如我在以前的文章中写到的，人类的直觉很重要不假，但也是有缺陷的。就决定让哪些囚犯回家而言，假释裁决委员会的判断远不如简单的规则。在诊断乳腺癌方面，训练有素的病理学家的结论也比不上影像分析软件的结果。采购专业人员对哪些供应商将来表现出色的判断，远不如一种简单算法的预测更准确。美国级的法律学者对某一年高法院判决投票结果的预测，也远远不如数据驱动型的决策规则更。
　　
　　这样的名录我可以一直罗列下去，不过，我还是把后一句话留给心理学家保罗·米尔(Paul Meehl)吧。早在近60年前，他就开始研究“专家”与算法孰优孰劣的问题了。他在职业生涯即将结束的时候曾总结说：“无可争议的是，社会科学的研究表明，数量众多的各种研究结果均指向了同一个方向，那就是：在从足球比赛的结果到肝病诊断的诸多预测中，你很难找出几个预测的结果是对专家和临床医生有利的，我们就此完全可以得出切合实际的结论。”
　　
　　这个结论就是，我们应该将我们的很多决策、预测、诊断和判断交给算法，无论是无关紧要还是至关重要的事情。就算法是否能给我们提供更好的结果而言，已经是毫无争议的问题了。
　　
　　当我们为专家呈上这样的事实时，他们的典型回应往往是“我知道数据和分析很重要，这也是我做出决策时要考虑它们的原因所在”。这种说法听上去很有道理，但实际上却大错特错了。研究同样清楚地表明：当专家把自己的判断添加到数据驱动型的算法或数学模型的结果中时(换句话说，当他们做出事后评价时。)，终结果往往比只用算法本身得出的结果糟糕。正如社会学家克里斯·斯尼德斯(Chris Snijders)所说的：“你看的结果往往是，专家参与的判断会介于模型单独判断和专家单独判断的结果之间。所以说，如果给他们提供模型，专家的判断结果会更好些，但依然不如模型独自判断的表现。”
　　
　　而当我们把这个次序倒转过来的时候，也就是让专家为模型提供信息而不是相反的时候，结果则会好得多。如果专家的主观意见被量化，并添加到某一算法之中，其结果往往会得到提升。所以，病理学家对癌症病程的估计可以添加到影响分析软件的分析过程中，法律学者对高法院对案件投票的预测也可以改善模型的预测能力。伊恩·艾瑞斯(Ian Ayres)在其的著作《超级数字天才》(Supercrunchers)中曾写道：“不是让统计数据充当专家的仆人，而要让专家成为统计机器的侍从。”
　　
　　当然，大多数组织都无法轻松完成这一转变。现如今，大部分决策者都确信自己很擅长此道，自己的决策毫无疑问要比没有灵魂、简单朴素的算法做出的决策更好，此外，他们还认为，拿走他们的决策权会削弱自己的、降低自己的价值。但显而易见的是，种观念是错误的，第二种认识也同样谬之千里。
　　
　　那么，如何实现专家与算法之间角色的大逆转呢？倚重数据驱动型的决策过程，会让我们的组织、经济和社会因此而得到更好的结果吗？达到这样的目标需要透明、时间和对结果的认识，在这里，透明是指清楚说明“专家”的判断有多么糟糕，时间是指让这种理念广泛传播并得到充分理解，对结果的认识则能让我们为了得到更好的决策而愿意忍受这一艰难的转变。
　　
　　在假释裁决委员会的例证中，我们能看到所有这三个因素的存在。正如艾瑞斯谈到的：“在近25年中，18个州用量刑指南(sentencing guidelines)取代了假释制度。这些州在评估再犯的风险时已越来越倚重算法评估模型。
　　
　　对投票者来说，糟糕的假释决定会产生严重的后果，所以，人为把握判断原则的假释裁决委员会乐得将投票权拱手相让。而在商业世界中，竞争，尤其是来自数据驱动型竞争对手的压力，会让略逊一筹的决策者举步维艰。我不知道多久会出现这种结果，但我可以信心十足地说，数据驱动型的企业，会从依然过度倚重专家的企业那里夺走更多的市场份额、客户和利润。
　　
　　（原标题：大数据挑战：敢不敢不要加入人的判断？）