发布日期:2020-12-25 20:28:33 访问次数: 信息来源:市统计局
当前信息化社会高速发展,数字经济蓬勃兴起,经济社会中的每个单位都是数据的生产者和提供者,相关数据信息被越来越多地记录,并由此产生了海量的数据资源形成大数据,大数据的生产和开发应用在都将对这个时代产生发生巨大影响,政府统计工作也迎来了机遇和挑战,如何突破传统工作思维、科学利用好大数据、应用好大数据是统计工作人员应深入思考的问题。
关键词: 大数据 统计工作
一、大数据的概念
根据百度百科科普中国释义,大数据是指“无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产”,世界上最早关注大数据的学者维克托-迈尔-舍恩伯格在其编写的《大数据时代》中就指出,大数据不采用抽样分析,而是采用了所有数据开展处理,并呈现出5v特性,分别为Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性),同时作者也提出了大数据时代的三个显著的变化:一是样本等于总体,二是不再追求精确性,三是相关分析比因果分析更重要。这些观点使得我们不得不认真审视今后大数据对统计工作的影响,当统计研究对象变了的时候,我们的统计思维也要与时俱进。
二、大数据统计与传统统计的区别
(一)数据产生背景不同。传统政府统计工作是以人的主观能动性为基础的,出于对经济活动规模、结构等分析评估的目的,政府有意识地对各类经济单位开展数据统计,从报表的设计、报表任务布置、数据报送、数据审核、录入汇总审核以及到数据发布都形成了一套比较规范的流程系统,比如普查、定期统计等,虽然抽样调查等统计办法成本控制较好,但全面调查仍需要投入大量人力物力去实施。而大数据则相反,大数据不是依靠传统办法获得的固定数据资源,而是借助现代信息技术和工具,从行政记录、商业终端消费、公共服务等等一些自动化社会行为中获得,其获取成本较低,而且其中大多数的数据不具备目的性,数据来源具有未执行性,也因为这些特性,大数据呈现出来得大都是半结构化,甚至非结构化的状态数据,很难被记录和分析,但其数据本身却具备准确性、实时性等优质特点。
(二)统计工作内容不同。虽然近年来政府统计工作逐步朝着分析型统计方向发展,但现阶段政府统计工作的重点仍然是数据采集和审核上报,这部分工作牵扯了统计工作者的绝大部分精力,企业所需要上报的报表五花八门,从定期报表到年度报表,即便如此,数据质量仍然不能令人满意,传统统计办法仍然停留在数据采集等初始阶段,统计数据的价值没有被有效发掘出来。而大数据统计方法则不同,数据采集环节变得简便,而统计工作的重点内容则是筛选数据、分析数据、挖掘数据上,因为大数据中也并非是所有数据都有价值,很多碎片化数据、无效数据都需要删除,如果以前统计工作是收集数据,那么大数据时代,删除无效数据才是采集数据的重要内容。
(三)数据表现形式不同。从数据的时效来看,传统政府统计有一定的延期,如每年GDP初步核算一般都是次年1月份,人口普查每十年才开展一次,其时效性不能充分满足过程需求,而大数据则是一种全过程统计的模式,能实时提供数据服务,如支付宝平台可以计算某人、某区域、某天、某月的消费金额。传统统计更多的是一种静态模型下的截面数据,调查获取的样本数值往往存在误差,而大数据的全过程统计则是一种基于时间序列构建成的动态模型,其拟合优度更高,观测误差值更小。除此之外,数据结构上也存在差异,传统抽样调查或者全面调查,都是在预设记录结构的基础之上,都是格式化的数据,数据来源主体是可识别的,大部分采集的可以进行事后核对,大数据则不同,大数据是多层次、多角度记录,海量的数据并没有结构化的预设,这使得一些极为弱小的信息也可以被捕捉,但同时大数据的来源却是不可追溯的,身份不能识别,也不能进行核对。
三、大数据对传统统计工作的影响
(一)大数据将改变传统统计逻辑。统计工作的目的是通过数据分析去揭示事物真相,去发现事物之间的联系状态和发展规律,去还原事物的原本面目。在大数据背景下,我们则拥有更多信息源去分析,但首先需要转变的是统计的思维逻辑。传统的政府统计的思维逻辑是先根据研究的方向,提出某种假设,然后再通过数据的收集和分析来验证该假设是否成立,比如分析XX市数字经济的发展情况,我们可能在假设“数字经济快速发展”的预设前提下,去开展相关统计去验证,在指标设置、统计方案上可能会出现不科学的情况,而大数据分析的逻辑是“发现-总结”,其逻辑是根据已发现的数据,进行分析整理,形成结论,而这个逻辑不预设前提,单纯从数据从去寻找相关关系,发现规律,这将能发现捕捉更多新鲜结论与发现,而不是为了凑合假设而去实证分析,从这一点上来看,大数据的统计逻辑与以往大为不同,也更为科学。
(二)大数据将改变传统统计功能。传统统计中采用的抽样调查办法,是对整体数据进行推断分析,比如规模以下工业样本抽样调查,我们根据样本企业的营收情况、利润增长情况,来推断全部规模以下工业企业的生产、销售情况,其结论的准确度要依靠样本单位提供数据质量,其统计目的是根据样本推测整体。但在大数据背景下,我们已经掌握的是全体数据而非样本数据,因此不再需要进行总体特征的推断,而是根据现有数据及分布情况进行计数分析,再去推断未来某种情况发生的概率有多高,开展预测分析。目前利用大数据进行预测分析已经较为广泛,比如用大数据分析电网中的故障,根据电网历史状态、故障类型和运行参数之间的相关性,预测未来电网故障发生的规律,评估电网运行风险,实现提前预警、提前介入。
四、大数据背景下统计工作困难及建议
(一)辩证看待大数据带来挑战。大数据的到来对统计工作可能是颠覆性的,这将改变以往统计工作内容,因此统计工作者对这场变革要有清醒的认识。一方面在大数据时代之下,社会各界利用大数据进行数据发布的频率越来越高,这将可能导致政府机构的发布与非政府发布出现结论分歧,统计工作者应思考如何提升社会公众对政府发布数据的认可度,使政府统计发布更加真实反映经济社会,从而有效抵制非官方数据发布的“去权威性”挑战;而另一方面,统计工作者应思考如何打破原有固定的工作模式,要及时将业务重心从收集数据逐步转型为分析数据,提高分析的洞察力和有效性,这也对统计工作者的业务能力提出了新的要求。当然,现阶段大数据统计还只是有限统计,数据获取方式有限,很难完全替代传统统计的准确定位和有效覆盖,特别是传统抽样调查统计仍是一种高效、低投入的科学统计。
(二)做好数据信息对接工作。尽管大数据拥有海量的数据,但大数据“非结构性”的特征也导致大数据内容多而杂,既有能揭示规律的数据也充斥着无用的数据,如何通过筛选、过滤、提炼出结构性的、可用的数据是摆在统计工作者面前的难题。在此背景下,需要跟进研究的是如何将那些非结构化数据通过特定的办法实现转化对接,这就要求统计工作者应用新的数据分析方法、新的统计分析工具,克服大数据的多样性、复杂性,对大数据的非结构化数据进行充分的测度与描绘,找寻数据之间类别及性质,使其结构化,并根据数据之间内部关系进行挖掘,找到有价值的信息点。可以说,数据信息的有效对接是开展大数据研究基础。
(三)加强统计支持要素配给。大数据分析对统计工作有新的要求,无论是从设备人员配置,还是资金投入都要达到相应标准,这也都是当前统计的薄弱环节。仅从人才配置来看,当前统计领域人才参差不齐,特别是一些基层统计人员配置得不到政府的重视,随着今后大数据统计到来,就必须培养出一支既要懂统计业务知识,又能知晓大数据统计特点的专业化复合型统计人才。同时,在大数据背景下,数据资源的提供、统计工作的开展离不开其他政府职能部门和商业机构的合作,需要通过合作创新、共同开发以及数据购买等手段开展社会大数据开发合作,大数据时代的统计工作应该凸显合作型、分享型。
(四)加快建立起服务型统计。一直以来统计工作主要集中在数据收集及发布环节,统计的重要的咨询职能被忽视,例如企业统计人员仅将统计工作视为一项对政府的填报义务,忽视了统计工作本身对企业起到的服务功能,同样在政府层面,统计咨询服务职能仍有待提升,统计服务的范围、内容的深度仍需拓展。面对大数据发展契机,应更加积极回应社会公众对统计工作期待,缩短数据采集和汇总时间,提升统计效率,丰富统计信息资源,以大数据作为原有政府统计的补充和完善,提高对宏观决策的实效性和精准性,提高统计服务的质量。
五、结语
综上所述,大数据给统计工作带来了巨大的挑战,同时也为统计工作带来新的发展契机,针对这些挑战,只有及时转变统计思维、改变统计习惯、创新统计方式,用全新的思维方式去适应这种新变化,将这些数据转化为有价值的数据分析,挖掘出有深度的数据信息,使统计工作在社会发展中起到更大作用。