【#文档大全网# 导语】以下是®文档大全网的小编为您整理的《大数据时代》,欢迎阅读!
世界的本质就是数据 大数据时代的经济学、政治学、社会学和许多科学门类都会发生巨大甚至是本质上的变化和发展,进而影响人类的价值体系、知识体系和生活方式。哲学史上争论不休的世界可知论和不可知论将会转变为实证科学中的具体问题。可知是绝对的,无事无物不可知;不可知论是相对的,是尚未知道的意思。
大数据时代处理数据理念上的三大转变:要全体不要抽样,要效率不要绝对精确,要相关不要因果。
某些观念有时会以惊人的力量给知识状况带来巨大的冲击。由于这些观念能一下子解决许多问题,所以,它们似乎有希望解决所有基本问题,澄清所有不明了的疑点。每个人都想迅速地抓住它们,作为进入某种新实证科学的法宝,作为可以用来建构一个综合分析体系的概念轴心。这种宏大概念突然流行起来,一时间把几乎所有的东西都挤到了一边。
努力在可以应用、可以拓展的地方,应用它、拓展它;在不能应用、不能拓展的地方,就停下来。我想这应该是所有人面对一个新领域或新概念时应有的态度。 危险不再是隐私的泄露,而是被预知的可能性
大数据的精髓在于我们分析信息时的三个转变,这些转变将改变我们理解和组建社会的方法。
第一个转变就是,在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某一个特别现象相关的所有数据 ,而不再依赖于随机采样。 随机采样是在不可收集和分析全部数据的情况下的选择,它本身存在许多固有的缺陷。它的成功依赖于采样的绝对随机性,但是实现采样的随机性非常困难。更糟糕的是,随机采样不适合考察子类别的情况,因为一旦继续细分,随机采样结果的错误率大大增加。因此,当人们想了解更深层次的细分领域的情况时,随机采样的方法就不可取了。 随机采样也需要严密的安排和执行。随机采样的方法并不适用于一切情况,因为这种调查结果缺乏延展性,即调查得出的数据不可以重新分析以实现计划之外的目的。 采样忽视了细节考察。在很多领域,从收集部分数据到收集尽可能多的数据的转变已经发生了。如果可能的话,我们会收集所有的数据,即样本等于总体。 大数据是指不用随机分析法这样的捷径,而采用所有数据的方法。
第二个转变就是,研究数据如此之多,以至于我们不再热衷于追求精确度。 执迷于精确性是信息缺乏时代和模拟时代的产物 在大数据时代要求我们重新审视精确性的优劣。我们掌握的数据库越来越全面,我们不再需要那么担心某个数据点对整套分析的不利影响。我们要做的就是要接受这些纷繁的数据并从中受益,而不是以高昂的代价消除所有的不确定性。
大数据不仅让我们不再期待精确性,也让我们无法实现精确性。
要想获得大规模数据带来的好处,混乱应该是一种标准途径,而不应该是竭力避免的。 相对依赖于小数据和精确性的时代,大数据因为更强调数据的完整性和混杂性,帮助我们进一步接近事实的真相,部分和确切的吸引力是可以理解的,但是,当我们的视野局限在我们可以分析和能够确定的数据上时,我们对世界的整体理解就可能产生了偏差和错误。不仅失去了去经历收集一切数据的动力,也失去了从各个不同角度来观察事物的权利。 第三个转变因前两个转变而促成,即我们不再热衷于寻找因果关系。
通过给我们找到一个现象的良好的关联物,相关关系可以帮助我们捕捉现在和预测未来。 我们理解世界不再需要建立在假设的基础上,这个假设是指针对现象建立的有关其产生机制和内在机理的假设。大数据的相关关系分析法更准确、更快,而且不易受偏见的影响。 建立在相关关系分析法基础上的预测是大数据的核心。 通过找出新种类数据之间的相互联系来解决日常需要
通过扎到一个关联物并监控它,我们就能预测未来。 在大多数情况下,一旦我们完成了对大数据的相关关系分析,而又不再满足于晶晶知道是什么时,我们就会继续向更深层次研究因果关系,找出背后的为什么 就是因为不受限于传统的思维模式和特定领域里隐含的固有偏见,大数据才能为我们提供如此多新的深刻洞见。
不同物质性的东西,数据的价值不会随着它的使用而减少,而是可以不断被处理。 数据的真实价值就像漂浮在海洋中的冰山,第一眼只能看到冰山一角,而绝大部分则隐藏在表面之下。
数据的价值是其所有可能用途的总和。这些似乎无限的潜在用途就像是实际意义上的选择,这些选择的总和就是数据的价值,即数据的潜在价值 数据创新1:数据的再利用 数据创新2:重组数据 数据创新3:可扩展数据 数据创新4:数据的折旧值
数据创新5:数据废气(它是用户在线交互的副产品,包括浏览过的页面,停留时间,鼠标光标停留位置,输入信息) 数据创新6:开放数据 潜在价值的概念表明,组织机构应收集尽可能多的使用数据并保持尽可能长的时间。同时也应当与第三方分享数据,前提是要保留所谓的延展性权利,这样一来,由数据再利用而产生的任何商业价值,原始数据拥有者都能从中分到一杯羹。 如何给数据估值
一个办法就是从数据持有人在价值提取上所采取的不同策略入手,最常见的一种可能性就是将数据授权给第三方。 大数据价值链的三大构成
1,基于数据本身的公司(这些公司拥有大量数据或者至少可以收集到大量数据,却不一定有从数据中提取价值或用数据催生创新思想的技能)
2,基于技能的公司(通常是咨询公司、技术供应商或者分析公司,掌握了专业技能但并不一定拥有数据或提出数据创新性用途的才能)
3,基于思维的公司(创始人或员工的创新思维,使得它们知道怎样挖掘数据的新价值,他们思考的只有可能,而不考虑所谓的可行)
管理变革1:个人隐私保护,从个人许可到让数据使用者承担责任 除了管理上的转变,即从个人许可到数据使用者承担相应责任的转变,我们也需要发明并推行新技术方式来促进隐私保护。一个创新途径就是差别隐私:故意将数据模糊处理,促使对大数据库的查询不能显示精确的结果,而只是相似的结果。这就使得挖出特定个人与特定数据点的联系变得难以实现并且耗费巨大。 管理变革2:个人动因vs预测分析
管理变革3:击碎黑盒子,大数据算法师的崛起
他们有两种形式:在机构外部工作的独立实体和机构内部的工作人员 外部算法师将扮演公正的审计员角色,在客户或政府所要求的任何时候,根据法律指令或规章对大数据的准确程度或者有效性进行鉴定。他们也能为需要技术支持的大数据使用者提供审计服务,还可以为他们证实大数据应用程序的健全性,最后,他们将和政府商议公共领域大数据的最佳使用办法。
内部算法师在机构内部工作,监督其大数据活动,不仅要考虑公司的利益,也要顾及受到公司大数据分析影响的其他人利益。为了扮演好这两个角色,首先要做到的必须在工作机构内
本文来源:https://www.wddqxz.cn/a165299150e2524de5187ec2.html