蜜枣网CEO赵小蒙：除了新零售，情绪智能识别还可以改变幼教

不知你有没有看过美剧《别对我说谎》，故事的主人公通过观察人的面部表情和身体动作探测人们是否在说谎。这个故事的灵感来源于美国心理学家保罗·艾克曼的真实研究。保罗·艾克曼研究发现，不同文化的面部基本情绪(快乐、悲伤、愤怒、厌恶、惊讶和恐惧)都有共通性。表情比言语更真实，如果我们能探索一条化抽象情绪为可视数据的道路，就有机会为各行各业带来全新的解决方案。

情绪智能识别在国内还是个比较新的概念，2017年，我们在深入了解微软人脸识别和情绪识别API后，才有了将这项技术落地的信心和决心，并先后在新零售和幼教行业推出了情绪智能识别SaaS解决方案。在讨论技术落地之前，让我先来分享一下为什么情绪智能识别能够高效地解决问题。

情绪智能识别的价值

情绪智能识别不仅是一门技术，更是一种管理思维——把抽象、微妙的体验数据化为管理依据，将业务需求与客户反馈紧密地结合在一起。

如何评估商场的服务、招商或经营策略的表现?商家传统的做法是发放大量调查问卷，这样做往往成本高、偏差大;我们的做法是在商场的出入口安装(或升级)双向摄像头，检测大量顾客出入商场的“欢笑率”差值，比如，顾客来时的“欢笑率”为7%，离开时仅有4%，期待未满足的原因有可能是商场管理，也可能是其他问题(比如两口子吵架，打车体验不佳等)，无论是什么原因，客观数据摆在这里，商场一旦及时改变策略或手段，就有机会提高魅力指数。相比之下，统计大量单次购买的行为数据没有规律可循，成本也很高昂。此外，我们利用面部智能计算的零售商户客流动线，冷热区分析也首次以最高精度呈现了客流动态的多样化规律，可以为招商需求评估提供真正的大数据评估支持。

多年前，招商银行曾在柜员服务上创新，邀请客户通过按键反馈服务体验(通常包括非常不满意，不满意，满意，非常满意四个按钮)，后来成为行业通行的方法后，这一反馈机制的效果却失真了——因为大多数客户出于人情按了“非常满意”键。现在，看到了我们的情绪智能识别技术，招商银行非常敏锐地与我们探讨在柜台自动检测客户的体验，以及在在等待多少分钟时出现了不适感，从而随机应变，比如请客户经理缓和一下气氛等。又比如，非常重视消费者体验的麦当劳，采用自助点单触屏对顾客进行分流，却发现仍有痛点没有解决，比如，四个人在一起点餐，往往花费很长时间才能商量出结果，这对于排在自助点菜队的顾客简直是“灾难”。而如果我们的情绪智能识别技术，麦当劳可以在“灾难”迹象出现时，及时请门店人员提前解决。

类似的例子还有，如果有一套系统可以在听众大规模分神、玩手机、甚至打盹时提醒一下演讲人，演讲人就可以实时调整气氛，提高演讲效果。比如，中国科技馆为小朋友设计了物理、化学等演示实验，通过我们的情绪智能技术收集体验数据，中国科技馆能够不断调整讲解与互动方式，引导孩子们聚精会神地听讲。

情绪智能识别在幼教行业的全新尝试

我们在新零售赛道上有所沉淀后，决心拓展一个新领域——幼教行业，希望通过足够多的样本量，找到幼儿情绪、课程效果、教师引导等因素之间的关联，探寻出一条标准化的评判机制，帮助孩子安全、快乐地成长。

外界环境变化对于孩子的心理影响非常明显。有一次，我们为一个幼儿园班级测试教学效果，三个身强体壮的陌生男士因为在幼儿园里临时参观而突然出现在孩子面前，系统即刻检测到大部分孩子出现了恐惧情绪。通过我们每天1000次以上的情绪扫描，我们能为每个孩子建立个人的情绪档案，每当情绪严重波动时，系统就自动为幼儿园管理者报警，帮助幼儿园管理员及时排查隐患;2016年《中国儿童发展纲要(2011-2020年)》统计监测报告显示，截止到2016年，全国共有2080所特殊教育学校，这些学校聚集了患有智力障碍、癫痫症、自闭症的孩子，我们也在努力测试使用情绪智能识别系统及时识别这些孩子发病的危险信号，比如笑容对于癫痫病患者是非常危险的。

很多家长在选择兴趣班时很困惑，因为他们不知道孩子真正喜欢什么。有一位家长曾根据主观经验给儿子报了绘画班，一年后，孩子偶然试听了声乐班，才兴高采烈地表明自己喜欢唱歌。这个故事启发我们，孩子的天赋和兴趣需要挖掘，如果能够通过长期追踪兴趣数据形成标准，这样的数据可以指导家长和老师因材施教，帮助孩子走向适合的轨道。

情绪识别还能帮助园长们更有效地激励员工。过去由于缺乏清晰的评价机制，幼儿园在给教师发奖金时也经常无从下手。园长们通常从哪个班级投诉事件少，哪个老师更温柔等主观因素去判断绩效，结果往往不够客观真实。通过在教室里安装双向摄像头，我们能够分别统计出教师和孩子的“欢笑率”，我们还计划与微软亚洲研究院合作，不但提高儿童情绪的识别精度，而且计划增加微软认知服务中的“声音智能识别”，以声音数据(具体教学场景下的教学点)配合情绪数据帮助幼儿园客观评价拥有不同教学水平和理念的教师对孩子的实际影响。

从情绪智能识别技术到新场景

蜜枣网本质上是一家数据公司，通过对数据的分析与挖掘，来寻找行业规律，解决实际应用挑战，从而为行业管理者提供决策辅助，进一步提升管理运营效率。

我们在与线下零售商合作时，发现一个巨大挑战是线下数据的维度比较少。比如在线下购物场景里，消费者的体验包含了产品、环境、服务与自身需求之间多个要素之间的互动关系，而在传统技术下，这些场景数据是无法获取，更无从分析了。

而且，从商业的本质来说，技术要解决现实挑战，不仅要技术创新，而且还要考虑实施成本，因此，从创业开始，我们就同时关注技术的横向和纵向发展。云平台是一个重大的技术突破，它所提供的部署能力，计算能力，以及在业务灵活性方面的巨大优势让我们从一开始就使用了SaaS平台来为多个客户实现业务部署。同时，我们也关注机器学习、人工智能等纵向技术，因为在解决一些计算能力要求非常高的场景里，这些技术将提供强大的计算能力并实现突破性的结果。

因此，我们一直关注着技术领域里的动态，并随时检测创新技术对我们业务的提升可能。蜜枣网从2015年就可以关注机器学习，而到2017年，面部及情绪智能进入了我们的视野。在全球，只有包括微软在内的2-3家公司同时具备平台宽度和技术深度，这与蜜枣网在实际应用中解决问题所需要的技术研发、业务管理、分析服务的支持非常吻合。

同时，不管是线下零售业还是幼教领域，都需要通过硬件设备获取信息，分析有效信息，提供云端SaaS服务。硬件设备获取的信息将存储在云端，通过智能识别，为客户提供分析和增值服务，这些服务使用云平台将极大地节省存储，计算以及部署的成本。

而为实现在实际应用中获取体验数据的要求，需要研发基础的人脸识别算法，实现对原始数据的分析。基础算法需要大量的原始数据积累，设计合理的算法，测试算法的通用性，收集数据和研发测试的周期较长，实现难度高。此外，研发人员自身设计架构以实现服务的稳定运行，保证系统的可靠性，工作较为繁琐。

随后，通过调研多家平台，我们选择了Azure。微软的优势在于依靠深厚的积累，能提供充足的技术支持和安全保障。例如，微软很早就在人工智能领域进行了研究与应用，并提供认知服务，针对影像、语言、语音等方面进行分析。在微软提供的丰富基础技术中，我们总能找到合适的技术，加快研发进程，提高应用效果。

在Azure众多的存储方式中，我们选择了Azure的Blob存储，这种存储方式在存储图片时显示出了其强大的实力.首先，它内置了多种语言的操作API，支持包括python，php，java等主流语言，我们可以很方便的调用其API接口，实现对Blob存储的增加删除等操作;Azure的Blob存储也可以通过URL来进行访问，Azure会为存储在Blob上的文件分配一个外部能够访问到的URL，通过使用这个URL，我们可以很方便地将图片在页面上展示出来;Blob存储也支持多种配置参数，可以选择合适的复制存储策略保证数据的持续性与高可用性，也可以根据访问数据的频次进行冷热访问层的选择等。通过使用Azure的Blob存储服务，我们构建了具有高可用性，成本低廉的图片存储服务，为后续的图片识别展示等操作提供了坚实的基础;此外，Blob服务比磁盘等本地存储的成本低90%，所以对于商业用户来说也是最佳性价比的选择。

通过Azure提供的认知服务，我们能够实现快速分析影像数据，将其解析为结构化数据，为进一步实现与应用场景结合的情景分析奠定了基础。经过我们在多个场景的测试，Azure认知服务的人脸识别和情绪识别技术，准确性和通用性都满足了我们对于基础算法的需求。

人脸识别技术在真实零售场景里的挑战很多，比如光线条件对识别精度的影响，穿戴遮挡对识别精度的影响，微软加速器通过帮助我们对接微软亚洲研究院的专家，都找到了很好的解决方法。

我们通过调用Azure的认知服务对所有有效基础数据进行分析，最后将分析结果结合实际应用情景相关的归因算法，设计并满足了实际应用服务的需求。Azure的认知服务部署简单，测试方便，帮助我们极大地节省了对基础算法的数据积累和算法研发的时间和成本，使得我们可以把更多的精力集中到将认知技术与实际应用相结合的算法和应用中，可以快速推进实际应用的部署和实现，如线下零售业的客流体验分析系统和幼教领域的安全成长管理系统。

在线下零售业，我们通过Azure的认知服务对消费者属性(如性别、年龄、情绪等)进行分析，结合实际购物体验场景，有效分析客流动态，及时反馈客户满意度，对异常情况做出警示，开创性地在业内第一次实现了消费者动线的捕捉，并提供更多维度的分析包括冷热区及停留分析等等业界创新技术。

在幼教领域Azure的面部和情绪认知服务帮助我们识别每个儿童的身份和情绪，结合我们对课程内容及教学方法的数据分析，开创了幼教领域第一个对教学效果和学生兴趣进行分析的全新算法。这些计算结果结合Azure的云端部署，可以轻松简单地在手机及移动端为家长提供孩子的成长档案，并为老师改进课程提高学生兴趣提供更有效的帮助，未来我们还将加入Azure认知服务中的语音语义识别技术，从更多维度理解儿童成长与教师教学之间的互动效果，从而持续利用人工智能技术推动儿童教育的发展。

当然，在创新技术的应用中，各种挑战层出不穷，比如儿童的面部识别精度就比成人要低很多，同时，儿童的表情也非常丰富，有时人工智能并不能像老师一样读懂孩子的心。因此，我们也需要不断与面部智能的专家深入应用场景来探讨解决困难。微软亚洲研究院与微软加速器不仅关注技术研发，也积极扶持创业企业。我们在与微软亚洲研究院的探讨中也得到了非常多的认知技术帮助，并且有机会使用最新的认知智能技术来为零售和幼教领域的工作者提供帮助。这不仅是对技术发展的支持与创新，更是对社会回馈的最佳方式。

最近，我读了一本叫做《集装箱改变世界》的书：海运运输本来没有标准化流程，是由互不相连的段落组成的，而且货物是散装的。后来，美国公路货运公司的一位CEO马尔科姆·麦克莱恩作为海运行业的外来者，凭借前瞻的视野，创新的技术以及坚韧的努力，克服了无数重大挑战而于1956年研制发明的集装箱，成为了整个运输业的标准化工具，为全球运输业，乃至全球经济都带来了巨大的进步。我们相信，AI技术也有如此潜能，它不会取代人，而是帮助人类更好地解决问题：即使是经验丰富的教师，也无法在一瞬间识别班上60多个孩子的喜怒哀乐，而AI能够“不知疲倦”地识别视野范围内每个孩子的情绪。人的智慧经验结合AI的计算力，可以帮助幼教行业成就更多，哪怕我们一开始只能触及全国1%的幼教市场，我们也能帮助到45万幼儿接受更好地教育，更加快乐的成长，在未来依靠自己的天赋幸福生活，这就是我们前进的动力。