别总盯着大数据那些黑暗中的小数据可能更重要

2020-02-18 05:08:00 [ 中关村在线原创 ] 作者：徐鹏

全球企业的“暗数据”不断累积，并已成为大部分企业的主要安全盲点。这时候人们才意识到，站在大数据背后的“小数据”同样应该被重视。

别总盯着大数据那些黑暗中的小数据可能更重要（图片来自Network World）

基于大数据的个性化推荐已屡见不鲜，似乎只要数据维度和量级足够丰富，AI对其的价值挖掘就会用之不竭。数据让AI有了应用价值，如Facebook会利用AI来预测用户的未来行为，作为广告投放的依据，所参考的信息包括：位置、设备信息、图片/视频浏览记录、WiFi连接状态、好友关系、聊天内容等等。

根据Veritas委托Vanson Bourne对15个国家及地区的1500名IT决策者和数据管理人员开展的《发挥企业数据的力量》调研显示，在安全问题日益严峻，数据合规条例越发严苛的当下，仍有超过半数（52%）的企业数据未进行分类或标记。企业在大量的潜在关键业务数据上，可视性非常有限，甚至根本不可见，这一疏忽导致企业数据成为黑客攻击的主要目标。

大数据在提供数据画像的同时，自身除了成本，也在面临更大的监管因素。而且，有时大数据在标签上识别会忽视个体的差异化。这就要提到小数据，小数据通过各种终端记录着用户自己产生的数据，例如每天运动所产生的卡路里、每次上网的阅读习惯和推荐、每次去超市的消费行为等等，这些对数据的智能化决策更为精细。

虽然小数据不像大数据看起来那样宏大，但对个体的价值却不容忽视，例如对于运动行业的人，身上所穿戴的传感器种类很多，可以监测运动员的转向、加减速、运动指标等等因素，之后可以根据这些数以百计的数据点对运动特征进行分析，得出有针对性的科学训练效果。

对数据实行分类有助于企业快速扫描并标记数据，确保无论数据处于何处，都能对其实现妥善的管理和保护，并正确识别敏感或风险信息。这一数据标记及数据可见性的相关应用，有助于企业在其数据资产范围内强制实施各式数据保留策略，从而更好地遵守数目日益增多、条款日益严苛的数据保护法规，实现数据合规。

值得一提的是，公有云和移动环境是企业数据安全最薄弱的一环，这些环境中的大部分数据很可能未经分类，且未受保护。仅有5%的全球企业表示，其公有云中的全部数据均已实行分类管理，6%的全球企业则表示，他们对移动设备中的数据也全部实行了分类管理。

而在中国，这两个数字更是仅有1%。约五分之三（61%）的全球企业则坦言，其公有云中实行分类的数据不到一半。超过三分之二（67%）的全球受访者表示，其在移动设备中实行分类的数据也不到一半。

落地到生产应用中，以工业场景为例，物联网总是和大数据一起出现，但局部应用里面的数据总是由小及大的。再如对于销售人员来说，他们对广告播放时间、效果转化、促销时段这些信息的要求通常是精确到分秒的，这样才能掌握用户行为。

不过，对于这样的数据进行训练，机器学习也只是在大数据上才有更好的效果，一旦遭遇小数据集就会事倍功半。如果没有那么大的数据集，在设计深度学习网络的时候对每一层和该层的神经元数量就要格外看重。如果是无监督学习，那么通过自动的编码方式也能也可能避开无标签的数据，但这种自监督式的预训练能力并不是每个业务人员都能掌握的。

因此，如果把大数据和小数据结合起来是否能甩掉锅呢？大数据可以在顶层上找到宏观数据并对其进行分层定位，这种调研的逐级深入就让小数据开始发挥作用，也就是对样本颗粒度的分析，即小数据让“大数据”变小。例如大数据关注的是性别、年龄、职业、消费能力，小数据则更关心背后的成因，而这对人的画像塑造是更贴切的。相应的，小数据对画像的精细化也可以让大数据更精准。

与大数据相比，小数据对场景和算法更窄面，这样的好处是对数据种类的选择更明确，比如大数据的场景是工厂里面的智能温控系统，那么小数据的场景就是温度检测器搜集来的数据算法应用。换句话说，电商在网页上检索到的用户交易记录，向用户推荐感兴趣的书籍，这种分析的过程就是小数据。