大数据开启了一次重大的时代转型。就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发…… 大数据，变革公共卫生 大数据，变革商业 大数据，变革思维 大数据，开启重大的时代转型 预测，大数据的核心 大数据，大挑战 第一部分 大数据时代的思维变革 第1章 更多：不是随机样本，而是全体数据 当数据处理技术已经发生了翻天覆地的变化时，在大数据时代进行抽样分析就像在汽车时代骑马一样。一切都改变了，我们需要的是所有的数据，“样本= 总体”。 让数据“发声” 小数据时代的随机采样，最少的数据获得最多的信息 全数据模式，样本=总体 第2章 更杂：不是精确性，而是混杂性 执迷于精确性是信息缺乏时代和模拟时代的产物。只有5% 的数据是有框架且能适用于传统数据库的。如果不接受混乱，剩下95% 的非框架数据都无法被利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户。 允许不精确 大数据的简单算法比小数据的复杂算法更有效 纷繁的数据越多越好 混杂性，不是竭力避免，而是标准途径 新的数据库设计的诞生 第3章 更好：不是因果关系，而是相关关系 知道“是什么”就够了，没必要知道“为什么”。在大数据时代，我们不必非得知道现象背后的原因，而是要让数据自己“发声”。 关联物，预测的关键 “是什么”，而不是“为什么” 改变，从操作方式开始 大数据，改变人类探索世界的方法 第二部分 大数据时代的商业变革 第4章 数据化：一切皆可“量化” 大数据发展的核心动力来源于人类测量、记录和分析世界的渴望。信息技术变革随处可见，但是如今信息技术变革的重点在“T”（技术）上，而不是在“I”（信息）上。现在，我们是时候把聚关灯打向“I”，开始关注信息本身了。 数据，从最不可能的地方提取出来 数据化，不是数字化 量化一切，数据化的核心 当文字变成数据 当方位变成数据 当沟通成为数据 一切事物的数据化 第5章 价值：“取之不尽，用之不竭”的数据创新 数据就像一个神奇的钻石矿，当它的首要价值被发掘后仍能不断给予。它的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，而绝大部分都隐藏在表面之下。 数据创新1：数据的再利用 数据创新2：重组数据 数据创新3：可扩展数据 数据创新4：数据的折旧值 数据创新5：数据废气 数据创新6：开放数据 给数据估值 第6章 角色定位：数据、技术与思维的三足鼎立 微软以1.1 亿美元的价格购买了大数据公司Farecast，而两年后谷歌则以7 亿美元的价格购买了给Farecast 提供数据的ITA Software 公司。如今，我们正处在大数据时代的早期，思维和技术是最有价值的，但是最终大部分的价值还是必须从数据本身来挖掘。 大数据价值链的3大构成 大数据掌控公司 大数据技术公司 大数据思维公司和个人 全新的数据中间商 专家的消亡与数据科学家的崛起 大数据，决定企业的竞争力 第三部分 大数据时代的管理变革 第7章 风险：让数据主宰一切的隐忧 我们时刻都暴露在“第三只眼”之下：亚马逊监视着我们的购物习惯，谷歌着监视我们的网页浏览习惯，而微博似乎什么都知道，不仅窃听到了我们心中的“TA”，还有我们的社交关系网。 无处不在的“第三只眼” 我们的隐私被二次利用了 预测与惩罚，不是因为所做，而是因为“将做” 数据独裁 挣脱大数据的困境 第8章 掌控：责任与自由并举的信息管理 当世界开始迈向大数据时代时，社会也将经历类似的地壳运动。在改变人类基本的生活与思考方式的同时，大数据早已在推动人类信息管理准则的重新定位。然而，不同于印刷革命，我们没有几个世纪的时间去适应，我们也许只有几年时间。 管理变革1：个人隐私保护，从个人许可到让数据使用者承担责任 管理变革2：个人动因VS预测分析 管理变革3：击碎黑盒子，大数据程序员的崛起 管理变革4：反数据垄断大亨 结语 正在发生的未来 大数据并不是一个充斥着算法和机器的冰冷世界，人类的作用依然无法被完全替代。大数据为我们提供的不是最终答案，只是参考答案，帮助是暂时的，而更好的方法和答案还在不久的未来。 ·收起全部<<前言 从硅谷到北京，大数据的话题正在被传播。随着智能手机以及“可佩带”计算设备的出现，我们的行为、位置，甚至身体生理数据等每一点变化都成为了可被记录和分析的数据。以此为基础，“反馈经济”（feedback economy）等新经济、新商业模式也正在开始形成。维克托?迈尔–舍恩伯格教授这本《大数据时代》，是我看到的最好的大数据著作，不管对于产业实践者，还是对于政府和公众机构，都是非常具有价值的。 如今，一个大规模生产、分享和应用数据的时代正在开启。正如维克托教授所说，大数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，绝大部分都隐藏在表面之下。而发掘数据价值、征服数据海洋的“动力”就是云计算。互联网时代，尤其是社交网络、电子商务与移动通信把人类社会带入了一个以“PB”（1 024TB）为单位的结构与非结构数据信息的新时代。在云计算出现之前，传统的计算机是无法处理如此量大、并且不规则的“非结构数据”的。 以云计算为基础的信息存储、分享和挖掘手段，可以便宜、有效地将这些大量、高速、多变化的终端数据存储下来，并随时进行分析与计算。大数据与云计算是一个问题的两面：一个是问题，一个是解决问题的方法。通过云计算对大数据进行分析、预测，会使得决策更为精准，释放出更多数据的隐藏价值。数据，这个21 世纪人类探索的新边疆，正在被云计算发现、征服。 《大数据时代》列举了众多在公共卫生、商业服务领域大数据变革的例子。一旦“不再追求精确度，不再追求因果关系，而是承认混杂性，探索相关关系”， “思维转变过来，数据就能被巧妙地用来激发新产品和新型服务”。数据正成为巨大的经济资产，成为新世纪的矿产与石油，将带来全新的创业方向、商业模式和投资机会。 庞大的人群和应用市场，复杂性高、充满变化，使得中国成为世界上最复杂的大数据国家。解决这种由大规模数据引发的问题，探索以大数据为基础的解决方案，是中国产业升级、效率提高的重要手段。数据挖掘不仅能够成为公司竞争力的来源，也将成为国家竞争力的一部分。联系到我国现代化所面临的种种问题以及教育、交通、医疗保健等各方面挑战，通过大数据这种创新方式来解决问题，创建新的产业群，实现“中国制造到中国创造”的改变，意义就更大。 “大数据”发展的障碍，在于数据的“流动性”和“可获取性”。美国政府创建了Data.gov 网站，为大数据敞开了大门；英国、印度也有“数据公开”运动。中国要赶上这样一场大数据变革，各界应该首先开始尝试公开数据、方式与方法。如同工业革命要开放物质交易、流通一样，开放、流通的数据是时代趋势的要求。《大数据时代》一书也提到了数据拥有权、隐私性保护等问题，但相比较来看，新科技可能带来的改变要远远大于其存在的问题。 本书的译者周涛教授是我国最年轻有为的大数据专家。这位27 岁的天才型教授，数年来一直带领我国学术界在大数据研究上向国际一流看齐。更可贵的是，他不仅做研究，也关注着研究成果的商业化及传播。这部译著就是他这种努力的一个成果。 现代历史上的历次技术革命，中国均是学习者。而在这次云计算与大数据的新变革中，中国与世界的距离最小，在很多领域甚至还有着创新与领先的可能。只要我们以开放的心态、创新的勇气拥抱“大数据时代”，就一定会抓住历史赋予中国创新的机会。 ·查看全部>>精彩书摘 大数据，变革商业 大数据不仅改变了公共卫生领域，整个商业领域都因为大数据而重新洗牌。购买飞机票就是一个很好的例子。 2003 年，奥伦· 埃齐奥尼（Oren Etzioni）准备乘坐从西雅图到洛杉矶的飞机去参加弟弟的婚礼。他知道飞机票越早预订越便宜，于是他在这个大喜日子来临之前的几个月，就在网上预订了一张去洛杉矶的机票。在飞机上， 埃齐奥尼好奇地问邻座的乘客花了多少钱购买机票。当得知虽然那个人的机票比他买得更晚，但是票价却比他便宜得多时，他感到非常气愤。于是，他又询问了另外几个乘客，结果发现大家买的票居然都比他的便宜。对大多数人来说，这种被敲竹杠的感觉也许会随着他们走下飞机而消失。然而，埃齐奥尼是美国最有名的计算机专家之一，从他担任华盛顿大学人工智能项目的负责人开始，他创立了许多在今天看来非常典型的大数据公司，而那时候还没有人提出“大数据”这个概念。 1994 年，埃齐奥尼帮助创建了最早的互联网搜索引擎metaCrawler，该引擎后来被InfoSpace 公司收购。他联合创立了第一个大型比价网站Netbot，后来把它卖给了Excite 公司。他创立的从文本中挖掘信息的公司ClearForest则被路透社收购了。在他眼中，世界就是一系列的大数据问题，而且他认为他有能力解决这些问题。作为哈佛大学首届计算机科学专业的本科毕业生，自1986 年毕业以来，他也一直致力于解决这些问题。 飞机着陆之后，埃齐奥尼下定决心要帮助人们开发一个系统，用来推测当前网页上的机票价格是否合理。作为一种商品，同一架飞机上每个座位的价格本来不应该有差别。但实际上，价格却千差万别，其中缘由只有航空公司自己清楚。 埃齐奥尼表示，他不需要去解开机票价格差异的奥秘。他要做的仅仅是预测当前的机票价格在未来一段时间内会上涨还是下降。这个想法是可行的，但操作起来并不是那么简单。这个系统需要分析所有特定航线机票的销售价格并确定票价与提前购买天数的关系。 如果一张机票的平均价格呈下降趋势，系统就会帮助用户做出稍后再购票的明智选择。反过来，如果一张机票的平均价格呈上涨趋势，系统就会提醒用户立刻购买该机票。换言之，这是埃齐奥尼针对9 000 米高空开发的一个加强版的信息预测系统。这确实是一个浩大的计算机科学项目。不过，这个项目是可行的。于是，埃齐奥尼开始着手启动这个项目。埃齐奥尼创立了一个预测系统，它帮助虚拟的乘客节省了很多钱。这个预测系统建立在41 天内价格波动产生的12 000 个价格样本基础之上，而这些信息都是从一个旅游网站上搜集来的。这个预测系统并不能说明原因，只能推测会发生什么。也就是说，它不知道是哪些因素导致了机票价格的波动。机票降价是因为很多没卖掉的座位、季节性原因，还是所谓的周六晚上不出门，它都不知道。这个系统只知道利用其他航班的数据来预测未来机票价格的走势。“买还是不买，这是一个问题。”埃齐奥尼沉思着。他给这个研究项目取了一个非常贴切的名字，叫“哈姆雷特”。 这个小项目逐渐发展成为一家得到了风险投资基金支持的科技创业公司，名为Farecast。通过预测机票价格的走势以及增降幅度，Farecast 票价预测工具能帮助消费者抓住最佳购买时机，而在此之前还没有其他网站能让消费者获得这些信息。 这个系统为了保障自身的透明度，会把对机票价格走势预测的可信度标示出来，供消费者参考。系统的运转需要海量数据的支持。为了提高预测的准确性，埃齐奥尼找到了一个行业机票预订数据库。有了这个数据库，系统进行预测时，预测的结果就可以基于美国商业航空产业中，每一条航线上每一架飞机内的每一个座位一年内的综合票价记录而得出。如今，Farecast 已经拥有惊人的约2 000 亿条飞行数据记录。利用这种方法，Farecast 为消费者节省了一大笔钱。 棕色的头发，露齿的笑容，无邪的面孔，这就是奥伦· 埃齐奥尼。他看上去完全不像是一个会让航空业损失数百万潜在收入的人。但事实上，他的目光放得更长远。2008 年，埃齐奥尼计划将这项技术应用到其他领域，比如宾馆预订、二手车购买等。只要这些领域内的产品差异不大，同时存在大幅度的价格差和大量可运用的数据，就都可以应用这项技术。但是在他实现计划之前，微软公司找上了他并以1.1 亿美元的价格收购了Farecast 公司。而后，这个系统被并入必应搜索引擎。 到2012 年为止，Farecast 系统用了将近十万 亿条价格记录来帮助预测美国国内航班的票价。 大数据洞察 Farecast 票价预测的准确度已经高达75 ％， 使用Farecast 票价预测工具购买机票的旅客， 平均每张机票可节省50 美元。 Farecast 是大数据公司的一个缩影，也代表了当今世界发展的趋势。五年或者十年之前，奥伦· 埃齐奥尼是无法成立这样的公司的。他说：“这是不可能的。”那时候他所需要的计算机处理能力和存储能力太昂贵了！虽说技术上的突破是这一切得以发生的主要原因，但也有一些细微而重要的改变正在发生，特别是人们关于如何使用数据的理念。 ……
新闻中心