什么是大数据时代?

网上有关“什么是大数据时代?”话题很是火热,小编也是针对什么是大数据时代?寻找了一些与之相关的一些信息进行分析,如果能碰巧解决你现在面临的问题,希望能够帮助到您。

最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。” “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注。

随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。?

在现今的社会,大数据的应用越来越彰显他的优势,它占领的领域也越来越大,电子商务、O2O、物流配送等,各种利用大数据进行发展的领域正在协助企业不断地发展新业务,创新运营模式。有了大数据这个概念,对于消费者行为的判断,产品销售量的预测,精确的营销范围以及存货的补给已经得到全面的改善与优化。

互联网时代,都说大数据,那什么是大数据

今天我们第一本解读的是《大数据时代》这本书。

大数据是这几年特别火的一个词,那究竟什么是大数据呢?

字面意思可以理解为大数据就是数量巨大的数据,而这些巨大的数据再结合云计算、人工智能、物联网等技术会对于我们的生活、工作都会带来翻天覆地的影响。

芝加哥大学商学院教授、麦肯锡公司创始人,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”

而我们今天所讲的这本《大数据时代》是国外大数据研究的先河之作,本书作者舍恩伯格被誉为“大数据商业应用第一人”。舍恩伯格在书中前瞻性地指出,大数据带来的信息风暴正在变革我们的生活、工作和思维,大数据开启了一次重大的时代转型,并用三个部分讲述了大数据时代的思维变革、商业变革和管理变革。对于身处于大数据时代额我们可谓是会产生异常极大的思维方式的变革。

舍恩伯格最具洞见之处在于,他明确指出,大数据时代最大的转变就是,放弃对因果关系的渴求,而取而代之关注相关关系。也就是说只要知道“是什么”,而不需要知道“为什么”。这就颠覆了千百年来人类的思维惯例,对人类的认知和与世界交流的方式提出了全新的挑战。

下面我们就进入到《大数据时代》这本书中去吧。

首先来看第一个话题大数据的思维变革

大数据与三个重大的思维变革有关,而这三个转变是相互作用的。

一.不是随机样本,而是全体数据

解释一下就是分析事物相关的所有数据,而不是仅仅依靠分析少量的数据样本。

二是不是精确性,而是混杂性

就是要接受数据的纷繁复杂,而不再追求准确性。

三是不是因果关系,而是相关关系

即不再追求难以摸索的因果关系,转而关注事物的相关关系。

这三个在大数据时代思维变革的转变我们会在接下来节目中一一讲解。

今天我们这一节先讲解:不是随机样本,而是全体样本,这一思维的变革。

小数据时代的随机抽样

为什么这么说呢?在我们过去技术并不发达的时候,只能用少量数据来进行随机采样是最高效的方式,即利用最少的数据来获取更多的信息。

在19世纪时美国的人口普查中,因为数据的变化超过了当时的人口普查统计分析能力,有人提出到数据无比庞大时可以进行有目的的选择,具有选出代表性的样本是最恰当的方式,这就是随机抽样。并且还非常有见解的提出:采样分析的精确性是随着采样随机性的增加而大幅的提高与样本的数量增加关系并不大,也就是说,随机采样样本的随机性比数量的多少更为重要。

而在当时,政府确实也采用了随机调查的方式来对于经济和人口进行了200多次小规模的调查,除此之外,在商业领域也会采用随机调查的方式来抽取部分商品来检查商品的质量安全。

随机抽样取得了巨大的成功,成为了现代社会,现代测量领域的主心骨,但这只是一条捷径,是不可能收集和分析全部数据情况下的选择,他本身就有很多的缺陷。

随机抽样的缺陷

第一,它的成功依赖于采样的绝对随机性,但在实现中绝对的随机性是非常困难,一旦分析过程中存在任何“偏见”,分析结果就会相去甚远。

第二,随机采样不适宜用于考察此类别的情况,也就是说随机抽样,一旦继续细分错误率会大大增加,比如说你想调查大学生玩手机的情况,您采取的调查结果可能会有3%的误差,但如果又把这个调查结果根据性别地域、收入来进行细分,那结果就会变得更为不准确。

因此当人们想要了解更深层次的细分领域的情况,采用随机采样的方法显然是不可取的,在宏观领域起作用的方法,在微观领域上失去了作用,随机采样就像是模拟照片,打印再远看会是非常不错,但是一旦聚焦在某个点,就会变得模糊不清。

全部数据的采样方式

现在我们正在步入了大数据时代,我们需要一中新的数据采集模式----全数据模式,即样本等于总体。

我们这个时代收集数据,并不像过去那样困难,手机导航、社交网站、微博、微信这些随时随地或主动或被动的收集你所产生的信息,并且通过计算机就可以轻而易举地完成数据处理。

采取全部数据的采样方式,可以不用考虑随机抽样所考虑的随机性,并且在细分领域也会发挥极大的作用,一个很好的例子,就是日本国民体育运动相扑之中所产生的非法操控比赛结果。

相扑比赛和其他比赛有所不同的就是选手需要在15场比赛之中的大部分场次获得胜利,才能保持排名和收入。这样一来就会出现收益不对称的情况,比如说一个7胜7负的选手,遇到一个8胜6负的选手,比赛结果对于第一个选手会比对第二个选手更为重要。列维特和达根发现在这种情况下,需要赢的那个选手,最可能会赢,这是为什么呢?有没有可能是选手的求胜心呢?当然有可能,但并不是完全!有数据显示需要赢的选手,求胜心,也只能把胜率增加25%。并且对于数据进一步分析发现,选手如果帮助上一次失利的一方的话,当他们再次相遇时,对方会回报回来。

这种情况在相扑界是显而易见的,但若是随机抽样就无法发现这个情况。而大数据通过分析所有比赛,用极大的数据来捕捉到这个情况。

还有关于大数据应用的例子是:2009年,谷歌公司将5000万条美国最频繁的检索词条和美国疾控中心在2003年至2008年季节性流感传播实际数据进行比较,成功预测了甲型H1N1流感的出现。

现在2021年,利用大数据来预测新冠肺炎的发展情况,已经成为我们日常新闻报道的一部分了。

在大数据时代的到来,让我们可以利用技术,从不同角度更细致的观察和研究数据的方方面面,使我们的调查更为精准。

回顾一下我们这一节所讲的过去的调查是采用小部分的数据来进行抽样调查,这一方法有显著的缺点

首先是抽样分析依赖于采样的随机性,而一旦数据出现”偏见“,结果便会大相径庭

第二抽样分析也只适用于宏观分析,对于更加微观的调查结果并不理想。

如今的技术环境已经有了很大的改善,在大数据时代进行抽样分析就是在汽车时代骑马一样,我们要分析与事物相关的而所有数据,而不仅仅是少量的数据。

以上就是我们本期全部内容,下一期我会讲到大数据时代下思维变革的后两个思维变革。

我的节目首发平台是公众号“悦读深入思考”关注还有更多内容

大数据(big data,mega

data),或称巨量资料,指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据进行分析处理。大数据的5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值密度)、Veracity(真实性)。

关于“什么是大数据时代?”这个话题的介绍,今天小编就给大家分享完了,如果对你有所帮助请保持对本站的关注!

(8)

猜你喜欢

发表回复

本站作者才能评论

评论列表(3条)

  • 采双的头像
    采双 2026年03月29日

    我是建研号的签约作者“采双”

  • 采双
    采双 2026年03月29日

    本文概览:网上有关“什么是大数据时代?”话题很是火热,小编也是针对什么是大数据时代?寻找了一些与之相关的一些信息进行分析,如果能碰巧解决你现在面临的问题,希望能够帮助到您。最早提出“大数...

  • 采双
    用户032903 2026年03月29日

    文章不错《什么是大数据时代?》内容很有帮助

联系我们:

邮件:建研号@gmail.com

工作时间:周一至周五,9:30-17:30,节假日休息

关注微信