工业大数据的复杂性高、可靠性要求高,但数据量可能相对偏小。认识工业大数据的特点,本身就是个复杂的问题。我想从以下几个角度整理思路:
1、一次利用和二次利用的维度
我们知道,收集和记录数据都是有成本的。多数数据都是为了满足某个应用而产生、记录的。大数据一般只是对数据的二次利用——或者叫废物利用。一次利用是在线的,二次利用是离线的。随着对大数据的重视,人们似乎应该在产生一次数据的时候,就关注数据的二次利用:就像策划生产的时候就关注废物如何利用。
2、一线应用和二线监控的维度
一线管理系统是为了满足某个业务的需求,二线应用是为了监控。我曾经有个比喻:一线应用是政府、党委、人大;二线监控是政协、纪委、监察。在数据成本很高的情况下,数据一般只服务于一线应用;在数据成本低的情况下,数据会越来越多地服务于二线应用。同时,在考虑一线应用的时候,就要考虑到如何便于二线应用。
3、可靠性要求高低的维度
可靠性要求低的场合,分析相关性就可以了;可靠性要求高的场合,不仅要关注因果性,还要关注交叉验证、证据的独立性、反例的合理性。可靠性要求高的时候,对数据分析的技术要求也高,但价值一般也大。
4、关联关系复杂性高低的维度
关联关系复杂时,分析难度就大、出现错误的可能性就大。要解决这个问题,首先要把人脑中的知识结构化地表述出来并有效地加以应用。我常说:在工业界,数据挖掘得到的知识首先存在于人脑中、只是不精确;数据饿作用,是用来雕琢这些模糊知识。但是,要把人脑中的知识表达出来,要有合适的方法才行。我不赞同“知识存在于数据中,人的作用是挖掘这种知识。”
至今为止,似乎还没人把工业大数据真正说清楚,见到的观点往往是碎片化的,本文也不例外。