让众人更聪明,实现“超级”共识
作者:Ville Satopää
2020-08-03
摘要:使用平均法来进行未来预测的工具可能会留下很多相关信息。

我们如何衡量像第一款Apple Watch这样的新产品成功的几率,或者像三峡大坝这样的大型工程能否按时完工?预测这些事件通常需要历史数据或人类专家。然而,过去的信息并不总是可用的,也不可能是未来的准确代表。而且,虽然人类专家可以适应新的条件,但他们的费用可能很高,而且容易出错,更何况他们经常意见不一致。 

专家之间产生分歧的根本原因大致可以归纳为:不同的信息来源加上不同的解释和“噪音”。专家的信息来源不同,所以他们会产生一系列的预测。遗憾的是,人们并不是完全合乎逻辑的信息消费者。专家很容易受到噪音的影响情绪波动、过度乐观或悲观,或者仅仅是错误的信息。 

对不同预测的选择通常是用平均数来总结的。这是有问题的,因为平均法是为了减少错误而设计的。其假设是所有的专家都使用相同的信息,他们的预测之间的所有分歧都是由于噪音造成的。但事实并非如此。如果利用得当,各种观点会带来不同的见解,有可能提高预测的准确性。  

这并不是说平均法没有用。它只是一个特定任务的工具,即降噪,而且它应该只用于该任务。有两种可获得的方法可以消除多个专家的噪音,而不至于让好的信息落空:将预测建立在专家积累的共同信息“文件夹”上,或者进行极端化处理。

 

信息的共同文件夹 

单纯平均法的一种替代方法是在平均预测之前操纵专家的信息。我们知道,当专家们拥有大致相同的信息时,平均法的效果很好;关键是将所有专家的信息组织到一个共同的信息文件夹中,然后再要求每个专家只根据这些信息进行预测。理论上,得出的预测都是基于相同的信息,所以可以安全地对它们进行平均。 

Oliva和Watson的案例研究 “管理组织预测中的功能偏差,共识预测的案例研究”就说明了这个概念。“A Case Study of Consensus Forecasting in Supply Chain Planning”。它研究了一家被称为“Leitax ”的消费电子公司,销售、运营和财务三个部门创建了三种不同的预测。起初,Leitax公司的信息共享是杂乱无章的。员工在部门之间共享电子表格,但不同的变量被嵌入到这些部门特定的文件中,没有任何澄清。其他信息则是在走廊上或休息室里口口相传。 

为了充分利用公司现有的预测人才,Oliva和Watson提出了一个改进的预测流程。其设计要素解决了现有的激励错位和无意的部门偏见。 

改进后的流程建立了一个独立的预测团队,该团队:

要求销售、运营和财务部门按照预先定义的规范组织相关信息,然后将所有这些数据合并到一个共同的信息文件夹中。

请销售、运营和财务方面的专家根据共同的信息文件夹创建自己的预测.

使用加权平均数将这些预测结合起来,其中权重是基于该部门过去预测的准确性。

为避免激励错位,独立预测团队应与其他部门分开运作,仅根据预测的准确性进行奖励。其最终形成的加权平均值是为了尽量减少各部门内部的偏差。有偏差的预测会导致业绩不佳,最终导致对公司总的预测和决策的影响最小。因此,一个部门如果想继续对公司的决策产生影响,就应该尽量消除其预测中的偏差。 

这种基于共同信息文件夹的流程在Leitax公司非常成功。它的预测准确率从58%提高到85%;库存周转次数从12次增加到26次;库存从5500万美元减少到2300万美元,从而能够对市场变化做出更快的反应。 

即使有这些成果,这个过程也有两个注意事项。它的成功依赖于这样一个假设:所有的专家都能够并且愿意对共享文件夹中的所有数据进行预测。然而,运营部门可能并不了解营销或人力资源部门添加的信息的真正相关性,所以他们的预测不会反映所有的信息。

此外,由于每个部门都有自己的议程,共享共用文件夹中的信息就有被操纵的风险。一个部门可能会故意输入虚假信息,误导其他部门,以增加自己在最终平均值中的相对权重。为了确保对共同文件夹信息的信任,独立的预测团队必须验证数据的有效性。因此,预测团队的参与对于确保信心,进而确保流程的成功至关重要。然而,这个团队是一个昂贵的中间人,它可能会减慢这个过程,甚至在系统中产生瓶颈。 

如果有一个更快、更便宜的流程来避免这些问题呢?

 

极化平均 

另一种方法是最近的一种称为极端化的技术。与常见的信息文件夹方法不同的是,极端化首先用平均法减少噪音,然后通过将平均数从历史基本率中推导出来,重新引入丢失的信息。 

首先,对你的专家的预测进行平均。如果说平均化不是最好的工具,将不同的信息保持在预测范围内,然后提出建议,这似乎有违直觉,但平均化只是这个过程中的第一步。 

第二步调用基础率,即在没有任何具体案例信息的情况下,人们会做出的预测。特别是,信息越多的专家,他们的预测越接近0%或100%。他们完全确定一个事件会或不会发生。

在贝叶斯更新的逻辑下,可以通过推敲平均数远离基准利率而接近理想的总量,重新引入丢失的信息。这个过程中,不同部门的专家可以继续进行自己的独立预测,而不会有任何跨部门操纵的风险,也不会有特定预测团队的额外成本和信息瓶颈。只有聚合机制必须改变。

通过使用加权平均,可以最大限度地减少孤岛所产生的偏差。最佳的基础率和极端化程度是由过去的预测估计出来的。 

极端化的经验证据来自于情报高级研究计划活动(IARPA)在2012年至2016年期间举办的一次预测比赛。这让预测团队相互对决,以寻找美国情报界对数百种潜在地缘政治动荡(金融、政治、经济等方面)的最准确预测,随后。由UPenn的Barbara Mellers和Philip Tetlock领导的 “良好判断项目”(GJP)招募了数千名专家,他们在比赛期间进行了超过100万次的预测,从而形成了人类预测领域有史以来最大的数据集之一。Extremizing将GJP最终预测的准确性提高了一个令人印象深刻的水平。

 

预测选择 

为了发挥预测的真正威力,我们的目标是将许多预测组合成一个 “超级”共识,真正反映出众人的所有信息。 

纵观可能的预测方案,为了最好地利用企业中各职能部门高管的知识,我们不应该将他们各自的预测平均化,因为我们不想失去独特的信息。相反,我们的选择是,要么建立一个预测团队,要求所有部门根据一个共同的信息文件夹进行预测,要么学会将我们的预测平均值极致化。最关键的是,不要简单地在业务上做平均预测,你可以做得更好。

 

 

 


热门文章