情绪引擎：挖掘在线智慧

发布时间：12年05月01日

编译鞠海彦

不知你有没有注意到，这个世界已经变得多么地爱发表评论或意见了。不仅在Amazon、Expedia或eBay这样的购物网站充满了产品评论，包括著名的Facebook和Twitter网站，个人意见也泛滥于博客：有时出现在无中生有的陈述中；有时夹杂于新闻评论中。令人遗憾的是，常见的一种形式是伪装成无辜的旁观者置入诱导意见……

挖掘在线公众智慧

　　以前，在购物时我们会咨询一些亲朋好友，或通过阅读报刊形成自己的观点来讨论时事、决定看哪部电影、读哪些好书、投票给谁、支持某议题，包括去图书馆寻求解决问题的途径。而在商界，主要是依赖问卷调查或商业顾问提供咨询意见，等等。

　　一切都已开始发生变化。由于互联网，我们面临着种种意见而无法取舍，而这数以千万计的意见来自素昧平生的人，我们也无从评价。从这些资讯中收集深刻的见解，时尚的说法是“群众外包”（crowd sourcing）。但是读过任何博客（仅英文博客数量就已超过1.12亿）的人，很快就会发现，有意义的资讯非常少。

　　具有讽刺意味的是，这些资讯有无意义可能无关紧要。多年以前，当笔者还是一位初出茅庐的投资银行家，那时我就明白：以市场而言，情感无论如何都胜过事实，事件本身无法推动市场，关键在于人们对事件的反应。比如，在世界各地的交易大厅中都可以听到这样的呼声：“大街上人们的看法是什么？”当然，交易员需要像《星际迷航》中的斯波克一样，为寻找地平线而搜集精确的数据，并阅读分析师的报告以应对突发事件。不过，一旦“柯克”船长介入，交易员就会透过个人体验来解读这些资讯，伴随其后的是喜好、偏见、怀疑、恐惧等主观体验。

　　在政治及公众舆论方面亦如此。牛津大学的桑德拉 ·G·拜隆（Sandra G.Bailón）与巴塞罗那媒体创新中心，曾通过在线讨论中的情感成份来预测美国总统大选期间的进展。该方法可以替代支持率或民意调查。“支持率”用于衡量短期内民众对于有限议题的支持程度；“民意调查”则侧重于长期的收集民众对于广泛选题的反应。这种基于情感的方法之所以颇具吸引力，是因为专注于人们认为重要并且真正想要讨论的议题，而不是民意测验者预定的议题。该方法还为公众情绪变动背后的心理机制提供线索，其最明显例子发生在美国“9.11”恐怖袭击事件之后。

　　但在经济领域，这种情绪化的反映最具影响力。我们利用这些资讯购买房子、汽车、移动电话以及其他各种商品，世界经济得以运行。因此，我们需要非常认真地听取意见，无论这些意见是明智的抑或误导的。更重要的是，我们要找到更好的发掘在线公众智慧的方法，同时摒弃无稽之谈。

　　社会科学家多年来一直在探讨类似的问题。最近，从事“自然语言处理”（计算机科学领域与人工智能领域中的一个重要方向）技术研究的学者已经开始推动该议题，包括企业家也参与其中。在过去数年中，60多家公司开始为客户开发各类软件工具，以更好地掌握其顾客或选民内心深处的真正想法。

自动化情绪分析软件

　　迄今为止，大部分的做法是使用语义搜索引擎（SSE）来解析网络检索的文本意义，对于拼法相似的词，会在具体的语境中确定其语义。然而，到目前为止，自然语言处理技术的适用范围仅限于医学或法律领域，原因在于这样的领域其学术术语极为有限。如果使用像谷歌或必应等传统的搜索引擎，电脑将不堪重负，因为传统搜寻引擎会不断把整个网络编入索引中，而不是仅仅采样。

　　“深度内容分析”法已经使人们在了解在线言论内容方面取得了较好的成效。该方法超出了简单的语义搜索领域，使计算机能够理解句子的完整意义。但是，它不能区分相对清晰客观的事实陈述与恒定个体的、变动的意见；后者是个体对各种事物的内心感受、情绪及态度的流露。

从网络中可以挖掘更多信息

　　情绪分析之所以棘手，在于很难将富含情感的内容从客观的、没有感情的文字中析取出来。与情感相关的句子或分句通常夹杂在论坛的长帖、博客或开放式问卷的答案中。要找到这些内容，需要分析师花费大量的时间在这些资料上标示。接下来还需要判定所表达的情绪是正面的、中性的、还是负面的，并且标定级别数值（如5、0、-2），其总体结果才可以成为原始数据并进行数字化处理。

　　问题至此还没有结束。伊利诺大学芝加哥分校计算机科学家刘冰（Bing Liu，音译）认为，从数学角度看，意见可以理解为“五倍量”或五变量的表达式。这些变量包括评估对象、对象特征、情感强度（以数值计算）、表达的人以及时间。分析师的工作就是从文本中挖掘这五种资讯，从而找出这五种变量。其次，过滤掉所有的伪情绪。在此之后，才能处理数据，得出五倍量的平均值。

　　这项工作听起来似乎困难重重。然而，许多创业公司抢着解决用户在这方面的需求，这也就不足为奇了。弗吉尼亚州Clarabridge公司通过智能软件简化该项工作中繁琐的部分，在过去几年中，公司每年都超过50％的增长速度。该公司的自动化情绪分析软件被美国在线、万豪、日产、沃尔玛、温迪、美国联合航空公司以及其他十几家财富1000强公司采用。

　　Clarabridge公司的软件可以为企业处理所有客户的反馈意见，而以往，这些意见因存在于杂乱的形式之中，同常遭遗弃（占80％）。同样重要的是，这种软件可以进行实时情绪分析，并且将结果划分为11个层级，而不是只有基本的三级（正面、中性、负面）；若人工进行情绪分析，则需要数周才能完成。这使公司更能深入了解客户的需要，并帮助公司更迅速的回应客户需求的变化。