大数据思维

大数据思维
大数据思维

大数据究竟是什么?

怎样结构大数据?

首先,我认为大数据就是互联网发展到现今阶段的一种表象或特征而已,没有必要神话它或对它保持敬畏之心,在以云计算为代表的技术创新大幕的衬托下,这些原本很难收集和使用的数据开始容易被利用起来了,通过各行各业的不断创新,大数据会逐步为人类创造更多的价值。

其次,想要系统的认知大数据,必须要全面而细致的分解它,我着手从三个层面来展开:

第一层面是理论,理论是认知的必经途径,也是被广泛认同和传播的基线。我会从大数据的特征定义理解行业对大数据的整体描绘和定性;从对大数据价值的探讨来深入解析大数据的珍贵所在;从对大数据的现在和未来去洞悉大数据的发展趋势;从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

第二层面是技术,技术是大数据价值体现的手段和前进的基石。我将分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。

第三层面是实践,实践是大数据的最终价值体现。我将分别从互联网的大数据,政府的大数据,企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。

和大数据相关的理论

特征定义

最早提出大数据时代到来的是麦肯锡:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”

业界(IBM 最早定义)将大数据的特征归纳为4个“V”(量Volume,多样Variety,价值Value,速Velocity),或者说特点有四个层面:第一,数据体量巨大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T);第二,数据类型繁多。比如,网络日志、视频、图片、地理位置信息等等。第三,价值密度低,商业价值高。第四,处理速度快。最后这一点也是和传统的数据挖掘技术有着本质的不同。

其实这些V并不能真正说清楚大数据的所有特征,下面这张图对大数据的一些相关特性做出了有效的说明。

古语云:三分技术,七分数据,得数据者得天下。先不论谁说的,但是这句话的正确性已经不用去论证了。维克托·迈尔-舍恩伯格在《大数据时代》一书中举了百般例证,都是为了说明一个道理:在大数据时代已经到来的时候要用大数据思维去发掘大数据的潜在价值。书中,作者提及最多的是Google如何利用人们的搜索记录挖掘数据二次利用价值,比如预测某地流感爆发的趋势;Amazon如何利用用户的购买和浏览历史数据进行有针对性的书籍购买推荐,以此有效提升销售量;Farecast如何利用过去十年所有的航线机票价格打折数据,来预测用户购买机票的时机是否合适。

那么,什么是大数据思维?维克托·迈尔-舍恩伯格认为,1-需要全部数据样本而不是抽样;2-关注效率而不是精确度;3-关注相关性而不是因果关系。

阿里巴巴的王坚对于大数据也有一些独特的见解,比如,

“今天的数据不是大,真正有意思的是数据变得在线了,这个恰恰是互联网的特点。”

“非互联网时期的产品,功能一定是它的价值,今天互联网的产品,数据一定是它的价值。”

“你千万不要想着拿数据去改进一个业务,这不是大数据。你一定是去做了一件以前做不了的事情。”

特别是最后一点,我是非常认同的,大数据的真正价值在于创造,在于填补无数个还未实现过的空白。

有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似,大数据并不在“大”,而在于“有用”。价值含量、挖掘成本比数量更为重要。

价值探讨

大数据是什么?投资者眼里是金光闪闪的两个字:资产。比如,Facebook上市时,评估机构评定的有效资产中大部分都是其社交网站上的数据。

如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。

Target 超市以20多种怀孕期间孕妇可能会购买的商品为基础,将所有用户的购买记录作为数据来源,通过构建模型分析购买者的行为相关性,能准确的推断出孕妇的具体临盆时间,这样Target的销售部门就可以有针对的在每个怀孕顾客的不同阶段寄送相应的产品优惠卷。

Target的例子是一个很典型的案例,这样印证了维克托·迈尔-舍恩伯格提过的一个很有指导意义的观点:通过找出一个关联物并监控它,就可以预测未来。Target通过监测购买者购买商品的时间和品种来准确预测顾客的孕期,这就是对数据的二次利用的典型案例。如果,我们通过采集驾驶员手机的GPS数据,就可以分析出当前哪些道路正在堵车,并可以及时发布道路交通提醒;通过采集汽车的GPS位置数据,就可以分析城市的哪些区域停车较多,这也代表该区域有着较为活跃的人群,这些分析数据适合卖给广告投放商。

不管大数据的核心价值是不是预测,但是基于大数据形成决策的模式已经为不少的企业带来了盈利和声誉。

从大数据的价值链条来分析,存在三种模式:

1- 手握大数据,但是没有利用好;比较典型的是金融机构,电信行业,政府机构等。

2- 没有数据,但是知道如何帮助有数据的人利用它;比较典型的是IT咨询和服务企业,比如,埃森哲,IBM,Oracle等。

3- 既有数据,又有大数据思维;比较典型的是Google,Amazon,Mastercard等。

未来在大数据领域最具有价值的是两种事物:1-拥有大数据思维的人,这种人可以将大数据的潜在价值转化为实际利益;2-还未有被大数据触及过的业务领域。这些是还未被挖掘的油井,金矿,是所谓的蓝海。

Wal-Mart作为零售行业的巨头,他们的分析人员会对每个阶段的销售记录进行了全面的分析,有一次他们无意中发现虽不相关但很有价值的数据,在美国的飓风来临季节,超市的蛋挞和抵御飓风物品竟然销量都有大幅增加,于是他们做了一个明智决策,就是将蛋挞的销售位置移到了飓风物品销售区域旁边,看起来是为了方便用户挑选,但是没有想到蛋挞的销量因此又提高了很多。

还有一个有趣的例子,1948年辽沈战役期间,司令员林彪要求每天要进行例常的“每日军情汇报”,由值班参谋读出下属各个纵队、师、团用电台报告的当日战况和缴获情况。那几乎是重复着千篇一律枯燥无味的数据:每支部队歼敌多少、俘虏多少;缴获的火炮、车辆多少,枪支、物资多少……有一天,参谋照例汇报当日的战况,林彪突然打断他:“刚才念的在胡家窝棚那个战斗的缴获,你们听到了吗?”大家都很茫然,因为如此战斗每天都有几十起,不都是差不多一模一样的枯燥数字吗?林彪扫视一周,见无人回答,便接连问了三句:“为什么那里缴获的短枪与长枪的比例比其它战斗略高?”“为什么那里缴获和击毁的小车与大车的比例比其它战斗略高?”“为什么在那里俘虏和击毙的军官与士兵的比例比其它战斗略高?”林彪司令员大步走向挂满军用地图的墙壁,指着地图上的那个点说:“我猜想,不,我断定!

敌人的指挥所就在这里!”果然,部队很快就抓住了敌方的指挥官廖耀湘,并取得这场重要战役的胜利。

这些例子真实的反映在各行各业,探求数据价值取决于把握数据的人,关键是人的数据思维;与其说是大数据创造了价值,不如说是大数据思维触发了新的价值增长。

现在和未来

我们先看看大数据在当下有怎样的杰出表现:

大数据帮助政府实现市场经济调控、公共卫生安全防范、灾难预警、社会舆论监督;

大数据帮助城市预防犯罪,实现智慧交通,提升紧急应急能力;

大数据帮助医疗机构建立患者的疾病风险跟踪机制,帮助医药企业提升药品的临床使用效果,帮助艾滋病研究机构为患者提供定制的药物;

大数据帮助航空公司节省运营成本,帮助电信企业实现售后服务质量提升,帮助保险企业识别欺诈骗保行为,帮助快递公司监测分析运输车辆的故障险情以提前预警维修,帮助电力公司有效识别预警即将发生故障的设备;

大数据帮助电商公司向用户推荐商品和服务,帮助旅游网站为旅游者提供心仪的旅游路线,帮助二手市场的买卖双方找到最合适的交易目标,帮助用户找到最合适的商品购买时期、商家和最优惠价格;

大数据帮助企业提升营销的针对性,降低物流和库存的成本,减少投资的风险,以及帮助企业提升广告投放精准度;

大数据帮助娱乐行业预测歌手,歌曲,电影,电视剧的受欢迎程度,并为投资者分析评估拍一部电影需要投入多少钱才最合适,否则就有可能收不回成本;

大数据帮助社交网站提供更准确的好友推荐,为用户提供更精准的企业招聘信息,向用户推荐可能喜欢的游戏以及适合购买的商品。

其实,这些还远远不够,未来大数据的身影应该无处不在,就算无法准确预测大数据终会将人类社会带往到哪种最终形态,但我相信只要发展脚步在继续,因大数据而产生的变革浪潮将很快淹没地球的每一个角落。

比如,Amazon的最终期望是:“最成功的书籍推荐应该只有一本书,就是用户要买的

下一本书。”

Google也希望当用户在搜索时,最好的体验是搜索结果只包含用户所需要的内容,而

这并不需要用户给予Google太多的提示。

而当物联网发展到达一定规模时,借助条形码、二维码、RFID等能够唯一标识产品,传感器、可穿戴设备、智能感知、视频采集、增强现实等技术可实现实时的信息采集和分析,这些数据能够支撑智慧城市,智慧交通,智慧能源,智慧医疗,智慧环保的理念需要,这些都所谓的智慧将是大数据的采集数据来源和服务范围。

未来的大数据除了将更好的解决社会问题,商业营销问题,科学技术问题,还有一个可预见的趋势是以人为本的大数据方针。人才是地球的主宰,大部分的数据都与人类有关,要通过大数据解决人的问题。

比如,建立个人的数据中心,将每个人的日常生活习惯,身体体征,社会网络,知识能力,爱好性情,疾病嗜好,情绪波动……换言之就是记录人从出生那一刻起的每一分每一秒,将除了思维外的一切都储存下来,这些数据可以被充分的利用:

医疗机构将实时的监测用户的身体健康状况;

教育机构更有针对的制定用户喜欢的教育培训计划;

服务行业为用户提供即时健康的符合用户生活习惯的食物和其它服务;

社交网络能为你提供合适的交友对象,并为志同道合的人群组织各种聚会活动;

政府能在用户的心理健康出现问题时有效的干预,防范自杀,刑事案件的发生;

金融机构能帮助用户进行有效的理财管理,为用户的资金提供更有效的使用建议和规划;

道路交通、汽车租赁及运输行业可以为用户提供更合适的出行线路和路途服务安排;

……

当然,上面的一切看起来都很美好,但是否是以牺牲了用户的自由为前提呢?只能说当新鲜事物带来了革新的同时也同样带来了“病菌”。比如,在手机未普及前,大家喜欢聚在一起聊天,自从手机普及后特别是有了互联网,大家不用聚在一起也可以随时随地的聊天,只是“病菌”滋生了另外一种情形,大家慢慢习惯了和手机共渡时光,人与人之间情感交流仿佛永远隔着一张“网”。

大数据隐私

你或许并不敏感,当你在不同的网站上注册了个人信息后,可能这些信息已经被扩散出去了,当你莫名其妙的接到各种邮件,电话,短信的滋扰时,你不会想到自己的电话号码,

邮箱,生日,购买记录,收入水平,家庭住址,亲朋好友等私人信息早就被各种商业机构非法存储或贱卖给其它任何有需要的企业或个人了。

更可怕的是,这些信息你永远无法删除,它们永远存在于互联网的某些你不知道的角落。除非你更换掉自己的所有信息,但是这代价太大了。

用户隐私问题一直是大数据应用难以绕开的一个问题,如被央视曝光过的分众无线、罗维邓白氏以及网易邮箱都涉及侵犯用户隐私。目前,中国并没有专门的法律法规来界定用户隐私,处理相关问题时多采用其他相关法规条例来解释。但随着民众隐私意识的日益增强,合法合规地获取数据、分析数据和应用数据,是进行大数据分析时必须遵循的原则。

说到隐私被侵犯,爱德华?斯诺登应该占据一席之地,这位前美国中央情报局(CIA)雇员一手引爆了美国“棱镜计划”(PRISM)的内幕消息。“棱镜”项目是一项由美国国家安全局(NSA)自2007年起开始实施的绝密电子监听计划,年耗资近2000亿美元,用于监听全美电话通话记录,据称还可以使情报人员通过“后门”进入9家主要科技公司的服务器,包括微软、雅虎、谷歌、Facebook、PalTalk、美国在线、Skype、YouTube、苹果。这个事件引发了人们对政府使用大数据时对公民隐私侵犯的担心。

再看看我们身边,当微博,微信,QQ空间这些社交平台肆意的吞噬着数亿用户的各种信息时,你就不要指望你还有隐私权了,就算你在某个地方删除了,但也许这些信息已经被其他人转载或保存了,更有可能已经被百度或Google存为快照,早就提供给任意用户搜索了。

因此在大数据的背景下,很多人都在积极的抵制无底线的数字化,这种大数据和个体之间的博弈还会一直继续下去……

专家给予了我们一些如何有效保护大数据背景下隐私权的建议:1-减少信息的数字化;2-隐私权立法;3-数字隐私权基础设施(类似DRM数字版权管理);4-人类改变认知(接受忽略过去);5-创造良性的信息生态;6-语境化。

但是这些都很难立即见效或者有实质性的改善。

比如,现在有一种职业叫删帖人,专门负责帮人到各大网站删帖,删除评论。其实这些人就是通过黑客技术侵入各大网站,破获管理员的密码然后进行手工定向删除。只不过他们保护的不是客户的隐私,而大多是丑闻。还有一种职业叫人肉专家,他们负责从互联网上找到一个与他们根本就无关系用户的任意信息。这是很可怕的事情,也就是说,如果有人想找到你,只需要两个条件:1-你上过网,留下过痕迹;2-你的亲朋好友或仅仅是认识你的人上过网,留下过你的痕迹。这两个条件满足其一,人肉专家就可以很轻松的找到你,可能还知道你现在正在某个餐厅和谁一起共进晚餐。

当很多互联网企业意识到隐私对于用户的重要性时,为了继续得到用户的信任,他们采取了很多办法,比如google承诺仅保留用户的搜索记录9个月,浏览器厂商提供了无痕冲浪模式,社交网站拒绝公共搜索引擎的爬虫进入,并将提供出去的数据全部采取匿名方式处理等。

在这种复杂的环境里面,很多人依然没有建立对于信息隐私的保护意识,让自己一直处于被滋扰,被精心设计,被利用,被监视的处境中。可是,我们能做的几乎微乎其微,因为个人隐私数据已经无法由我们自己掌控了,就像一首诗里说到的:“如果你现在继续麻木,那就别指望这麻木能抵挡得住被”扒光”那一刻的惊恐和绝望……”

和大数据相关的技术

云技术

大数据常和云计算联系到一起,因为实时的大型数据集分析需要分布式处理框架来向数十、数百或甚至数万的电脑分配工作。可以说,云计算充当了工业革命时期的发动机的角色,而大数据则是电。

云计算思想的起源是麦卡锡在上世纪60年代提出的:把计算能力作为一种像水和电一样的公用事业提供给用户。

如今,在Google、Amazon、Facebook等一批互联网企业引领下,一种行之有效的模式出现了:云计算提供基础架构平台,大数据应用运行在这个平台上。

业内是这么形容两者的关系:没有大数据的信息积淀,则云计算的计算能力再强大,也难以找到用武之地;没有云计算的处理能力,则大数据的信息积淀再丰富,也终究只是镜花水月。

那么大数据到底需要哪些云计算技术呢?

这里暂且列举一些,比如虚拟化技术,分布式处理技术,海量数据的存储和管理技术,NoSQL、实时流数据处理、智能分析技术(类似模式识别以及自然语言理解)等。

云计算和大数据之间的关系可以用下面的一张图来说明,两者之间结合后会产生如下效应:可以提供更多基于海量业务数据的创新型服务;通过云计算技术的不断发展降低大数据业务的创新成本。

如果将云计算与大数据进行一些比较,最明显的区分在两个方面:

第一,在概念上两者有所不同,云计算改变了IT,而大数据则改变了业务。然而大数据必须有云作为基础架构,才能得以顺畅运营。

第二,大数据和云计算的目标受众不同,云计算是CIO等关心的技术层,是一个进阶的IT解决方案。而大数据是CEO关注的、是业务层的产品,而大数据的决策者是业务层。

分布式处理技术

分布式处理系统可以将不同地点的或具有不同功能的或拥有不同数据的多台计算机用通信网络连接起来,在控制系统的统一管理控制下,协调地完成信息处理任务—这就是分布式处理系统的定义。

以Hadoop(Yahoo)为例进行说明,Hadoop是一个实现了MapReduce模式的能够对大量数据进行分布式处理的软件框架,是以一种可靠、高效、可伸缩的方式进行处理的。

而MapReduce是Google提出的一种云计算的核心计算模式,是一种分布式运算技术,也是简化的分布式编程模式,MapReduce模式的主要思想是将自动分割要执行的问题(例如程序)拆解成map(映射)和reduce(化简)的方式,在数据被分割后通过Map 函数的程序将数据映射成不同的区块,分配给计算机机群处理达到分布式运算的效果,在通过R educe 函数的程序将结果汇整,从而输出开发者需要的结果。

再来看看Hadoop的特性,第一,它是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。其次,Hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度。Hadoop 还是可伸缩的,能够处理PB 级数据。此外,Hadoop 依赖于社区服务器,因此它的成本比较低,任何人都可以使用。

你也可以这么理解Hadoop的构成,Hadoop=HDFS(文件系统,数据存储技术相关)+HBase(数据库)+MapReduce(数据处理)+……Others

Hadoop用到的一些技术有:

HDFS: Hadoop分布式文件系统(Distributed File System) -HDFS (HadoopDistribut ed File System)

MapReduce:并行计算框架

HBase: 类似Google BigTable的分布式NoSQL列数据库。

Hive:数据仓库工具,由Facebook贡献。

Zookeeper:分布式锁设施,提供类似Google Chubby的功能,由Facebook贡献。

Avro:新的数据序列化格式与传输工具,将逐步取代Hadoop原有的IPC机制。

Pig:大数据分析平台,为用户提供多种接口。

Ambari:Hadoop管理工具,可以快捷的监控、部署、管理集群。

Sqoop:用于在Hadoop与传统的数据库间进行数据的传递。

说了这么多,举个实际的例子,虽然这个例子有些陈旧,但是淘宝的海量数据技术架构还是有助于我们理解对于大数据的运作处理机制:

淘宝大数据

如上图所示,淘宝的海量数据产品技术架构分为五个层次,从上至下来看它们分别是:数据源,计算层,存储层,查询层和产品层。

数据来源层。存放着淘宝各店的交易数据。在数据源层产生的数据,通过DataX,DbS ync和Timetunel准实时的传输到下面第2点所述的“云梯”。

计算层。在这个计算层内,淘宝采用的是Hadoop集群,这个集群,我们暂且称之为云梯,是计算层的主要组成部分。在云梯上,系统每天会对数据产品进行不同的MapReduce 计算。

存储层。在这一层,淘宝采用了两个东西,一个使MyFox,一个是Prom。MyFox是基于MySQL的分布式关系型数据库的集群,Prom是基于Hadoop Hbase技术的一个NoSQL 的存储集群。

查询层。在这一层中,Glider是以HTTP协议对外提供restful方式的接口。数据产品通过一个唯一的URL来获取到它想要的数据。同时,数据查询即是通过MyFox来查询的。

最后一层是产品层,这个就不用解释了。

存储技术

大数据可以抽象的分为大数据存储和大数据分析,这两者的关系是:大数据存储的目的是支撑大数据分析。到目前为止,还是两种截然不同的计算机技术领域:大数据存储致力于研发可以扩展至PB甚至EB级别的数据存储平台;大数据分析关注在最短时间内处理大量不同类型的数据集。

提到存储,有一个着名的摩尔定律相信大家都听过:18个月集成电路的复杂性就增加一倍。所以,存储器的成本大约每18-24个月就下降一半。成本的不断下降也造就了大数据的可存储性。

比如,Google大约管理着超过50万台服务器和100万块硬盘,而且Google还在不断的扩大计算能力和存储能力,其中很多的扩展都是基于在廉价服务器和普通存储硬盘的基础上进行的,这大大降低了其服务成本,因此可以将更多的资金投入到技术的研发当中。

以Amazon举例,Amazon S3 是一种面向Internet 的存储服务。该服务旨在让开发人员能更轻松的进行网络规模计算。Amazon S3 提供一个简明的Web 服务界面,用户可通过它随时在Web 上的任何位置存储和检索的任意大小的数据。此服务让所有开发人员都能访问同一个具备高扩展性、可靠性、安全性和快速价廉的基础设施,Amazon 用它来运行其全球的网站网络。再看看S3的设计指标:在特定年度内为数据元提供99.999999999%的耐久性和99.99% 的可用性,并能够承受两个设施中的数据同时丢失。

S3很成功也确实卓有成效,S3云的存储对象已达到万亿级别,而且性能表现相当良好。S3云已经拥万亿跨地域存储对象,同时AWS的对象执行请求也达到百万的峰值数量。目前全球范围内已经有数以十万计的企业在通过AWS运行自己的全部或者部分日常业务。这些企业用户遍布190多个国家,几乎世界上的每个角落都有Amazon用户的身影。

感知技术

大数据的采集和感知技术的发展是紧密联系的。以传感器技术,指纹识别技术,RFID 技术,坐标定位技术等为基础的感知能力提升同样是物联网发展的基石。全世界的工业设备、汽车、电表上有着无数的数码传感器,随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化,都会产生海量的数据信息。

而随着智能手机的普及,感知技术可谓迎来了发展的高峰期,除了地理位置信息被广泛的应用外,一些新的感知手段也开始登上舞台,比如,最新的”iPhone 5S”在home键内嵌指纹传感器,新型手机可通过呼气直接检测燃烧脂肪量,用于手机的嗅觉传感器面世可以监测从空气污染到危险的化学药品,微软正在研发可感知用户当前心情智能手机技术,谷歌眼镜InSight新技术可通过衣着进行人物识别。

除此之外,还有很多与感知相关的技术革新让我们耳目一新:比如,牙齿传感器实时监控口腔活动及饮食状况,婴儿穿戴设备可用大数据去养育宝宝,Intel正研发3D笔记本摄像头可追踪眼球读懂情绪,日本公司开发新型可监控用户心率的纺织材料,业界正在尝试将生物测定技术引入支付领域等。

其实,这些感知被逐渐捕获的过程就是就世界被数据化的过程,一旦世界被完全数据化了,那么世界的本质也就是信息了。

就像一句名言所说,“人类以前延续的是文明,现在传承的是信息。”

大数据的实践

互联网的大数据

互联网上的数据每年增长50%,每两年便将翻一番,而目前世界上90%以上的数据是最近几年才产生的。据IDC预测,到2020年全球将总共拥有35ZB的数据量。互联网是大数据发展的前哨阵地,随着WEB2.0时代的发展,人们似乎都习惯了将自己的生活通过网络进行数据化,方便分享以及记录并回忆。

互联网上的大数据很难清晰的界定分类界限,我们先看看BAT的大数据:

百度拥有两种类型的大数据:用户搜索表征的需求数据;爬虫和阿拉丁获取的公共we b数据。搜索巨头百度围绕数据而生。它对网页数据的爬取、网页内容的组织和解析,通过语义分析对搜索需求的精准理解进而从海量数据中找准结果,以及精准的搜索引擎关键字广告,实质上就是一个数据的获取、组织、分析和挖掘的过程。搜索引擎在大数据时代面临的挑战有:更多的暗网数据;更多的WEB化但是没有结构化的数据;更多的WEB化、结构化但是封闭的数据。

阿里巴巴拥有交易数据和信用数据。这两种数据更容易变现,挖掘出商业价值。除此之外阿里巴巴还通过投资等方式掌握了部分社交数据、移动数据。如微博和高德。

腾讯拥有用户关系数据和基于此产生的社交数据。这些数据可以分析人们的生活和行为,从里面挖掘出政治、社会、文化、商业、健康等领域的信息,甚至预测未来。

在信息技术更为发达的美国,除了行业知名的类似Google,Facebook外,已经涌现了很多大数据类型的公司,它们专门经营数据产品,比如:

Metamarkets:这家公司对Twitter、支付、签到和一些与互联网相关的问题进行了分析,为客户提供了很好的数据分析支持。

Tableau:他们的精力主要集中于将海量数据以可视化的方式展现出来。Tableau为数字媒体提供了一个新的展示数据的方式。他们提供了一个免费工具,任何人在没有编程知识背景的情况下都能制造出数据专用图表。这个软件还能对数据进行分析,并提供有价值的建议。

ParAccel:他们向美国执法机构提供了数据分析,比如对15000个有犯罪前科的人进行跟踪,从而向执法机构提供了参考性较高的犯罪预测。他们是犯罪的预言者。

QlikTech:QlikTech旗下的Qlikview是一个商业智能领域的自主服务工具,能够应用于科学研究和艺术等领域。为了帮助开发者对这些数据进行分析,QlikTech提供了对原始数据进行可视化处理等功能的工具。

GoodData:GoodData希望帮助客户从数据中挖掘财富。这家创业公司主要面向商业用户和IT企业高管,提供数据存储、性能报告、数据分析等工具。

TellApart:TellApart和电商公司进行合作,他们会根据用户的浏览行为等数据进行分析,通过锁定潜在买家方式提高电商企业的收入。

DataSift:DataSift主要收集并分析社交网络媒体上的数据,并帮助品牌公司掌握突发新闻的舆论点,并制定有针对性的营销方案。这家公司还和Twitter有合作协议,使得自己变成了行业中为数不多可以分析早期tweet的创业公司。

Datahero:公司的目标是将复杂的数据变得更加简单明了,方便普通人去理解和想象。

举了很多例子,这里简要归纳一下,在互联网大数据的典型代表性包括:

1-用户行为数据(精准广告投放、内容推荐、行为习惯和喜好分析、产品优化等)

2-用户消费数据(精准营销、信用记录分析、活动促销、理财等)

3-用户地理位置数据(O2O推广,商家推荐,交友推荐等)

4-互联网金融数据(P2P,小额贷款,支付,信用,供应链金融等)

5-用户社交等UGC数据(趋势分析、流行元素分析、受欢迎程度分析、舆论监控分析、社会问题分析等)

政府的大数据

近期,奥巴马政府宣布投资2亿美元拉动大数据相关产业发展,将“大数据战略”上升为国家意志。奥巴马政府将数据定义为“未来的新石油”,并表示一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分,未来,对数据的占有和控制甚至将成为陆权、海权、空权之外的另一种国家核心资产。

在国内,政府各个部门都握有构成社会基础的原始数据,比如,气象数据,金融数据,信用数据,电力数据,煤气数据,自来水数据,道路交通数据,客运数据,安全刑事案件数据,住房数据,海关数据,出入境数据,旅游数据,医疗数据,教育数据,环保数据等等。这些数据在每个政府部门里面看起来是单一的,静态的。但是,如果政府可以将这些数据关联起来,并对这些数据进行有效的关联分析和统一管理,这些数据必定将获得新生,其价值是无法估量的。

具体来说,现在城市都在走向智能和智慧,比如,智能电网、智慧交通、智慧医疗、智慧环保、智慧城市,这些都依托于大数据,可以说大数据是智慧的核心能源。从国内整体投资规模来看,到2012年底全国开建智慧城市的城市数超过180个,通信网络和数据平台等基础设施建设投资规模接近5000亿元。“十二五”期间智慧城市建设拉动的设备投资规模将达1万亿元人民币。大数据为智慧城市的各个领域提供决策支持。在城市规划方面,通过对城市地理、气象等自然信息和经济、社会、文化、人口等人文社会信息的挖掘,可以为城市规划提供决策,强化城市管理服务的科学性和前瞻性。在交通管理方面,通过对道路交通信息的实时挖掘,能有效缓解交通拥堵,并快速响应突发状况,为城市交通的良性运转提供科学的决策依据。在舆情监控方面,通过网络关键词搜索及语义智能分析,能提高舆情分析的及时性、全面性,全面掌握社情民意,提高公共服务能力,应对网络突发的公共事件,打击违法犯罪。在安防与防灾领域,通过大数据的挖掘,可以及时发现人为或自然灾害、恐怖事件,提高应急处理能力和安全防范能力。

另外,作为国家的管理者,政府应该有勇气将手中的数据逐步开放,供给更多有能力的机构组织或个人来分析并加以利用,以加速造福人类。比如,美国政府就筹建了一个data. gov网站,这是奥巴马任期内的一个重要举措:要求政府公开透明,而核心就是实现政府机构的数据公开。截止目前,已经开放了有91054 个datasets;349citizen-developed apps;137 mobile apps;175 agencies and subagencies;87 galleries;295 Government API s。

企业的大数据

企业的CXO们最关注的还是报表曲线的背后能有怎样的信息,他该做怎样的决策,其实这一切都需要通过数据来传递和支撑。在理想的世界中,大数据是巨大的杠杆,可以改变公司的影响力,带来竞争差异、节省金钱、增加利润、愉悦买家、奖赏忠诚用户、将潜在客户转化为客户、增加吸引力、打败竞争对手、开拓用户群并创造市场。

那么,哪些传统企业最需要大数据服务呢?抛砖引玉,先举几个例子:1) 对大量消费者提供产品或服务的企业(精准营销);2) 做小而美模式的中长尾企业(服务转型);3) 面临互联网压力之下必须转型的传统企业(生死存亡)。

对于企业的大数据,还有一种预测:随着数据逐渐成为企业的一种资产,数据产业会向传统企业的供应链模式发展,最终形成“数据供应链”。这里尤其有两个明显的现象:1) 外

部数据的重要性日益超过内部数据。在互联互通的互联网时代,单一企业的内部数据与整个互联网数据比较起来只是沧海一粟;2) 能提供包括数据供应、数据整合与加工、数据应用等多环节服务的公司会有明显的综合竞争优势。

对于提供大数据服务的企业来说,他们等待的是合作机会,就像微软史密斯说的:“给我提供一些数据,我就能做一些改变。如果给我提供所有数据,我就能拯救世界。”

然而,一直做企业服务的巨头将优势不在,不得不眼看新兴互联网企业加入战局,开启残酷竞争模式。为何会出现这种局面?从IT 产业的发展来看,第一代IT 巨头大多是To B 的,比如IBM、Microsoft、Oracle、SAP、HP这类传统IT 企业;第二代IT 巨头大多是ToC 的,比如Yahoo、Google、Amazon、Facebook 这类互联网企业。大数据到来前,这两类公司彼此之间基本是井水不犯河水;但在当前这个大数据时代,这两类公司已经开始直接竞争。比如Amazon 已经开始提供云模式的数据仓库服务,直接抢占IBM、Oracle

的市场。这个现象出现的本质原因是:在互联网巨头的带动下,传统IT 巨头的客户普遍开始从事电子商务业务,正是由于客户进入了互联网,所以传统IT 巨头们不情愿地被拖入了互联网领域。如果他们不进入互联网,他们业务必将萎缩。在进入互联网后,他们又必须将云技术,大数据等互联网最具有优势的技术通过封装打造成自己的产品再提供给企业。

以IBM举例,上一个十年,他们抛弃了PC,成功转向了软件和服务,而这次将远离服务与咨询,更多地专注于因大数据分析软件而带来的全新业务增长点。IBM执行总裁罗睿兰认为,“数据将成为一切行业当中决定胜负的根本因素,最终数据将成为人类至关重要的自然资源。”IBM积极的提出了“大数据平台”架构。该平台的四大核心能力包括Hadoop系统、流计算(StreamComputing)、数据仓库(Data Warehouse)和信息整合与治理(Informa tion Integration and Governance)

IBM大数据

另外一家亟待通过云和大数据战略而复苏的巨头公司HP也推出了自己的产品:HAVEn,一个可以自由扩展伸缩的大数据解决方案。这个解决方案由HP Autonomy、HP Vertica、H P ArcSight 和惠普运营管理(HP OperationsManagement)四大技术组成。还支持Hadoop

这样通用的技术。HAVEn不是一个软件平台,而是一个生态环境。四大组成部分满足不同的应用场景需要,Autonomy解决音视频识别的重要解决方案;Vertica解决数据处理的速度和效率的方案;ArcSight解决机器的记录信息处理,帮助企业获得更高安全级别的管理;运营管理解决的不仅仅是外部数据的处理,而是包括了IT基础设施产生的数据。

个人的大数据

个人的大数据这个概念很少有人提及,简单来说,就是与个人相关联的各种有价值数据信息被有效采集后,可由本人授权提供第三方进行处理和使用,并获得第三方提供的数据服务。

举个例子来说明会更清晰一些:

未来,每个用户可以在互联网上注册个人的数据中心,以存储个人的大数据信息。用户可确定哪些个人数据可被采集,并通过可穿戴设备或植入芯片等感知技术来采集捕获个人的

大数据,比如,牙齿监控数据,心率数据,体温数据,视力数据,记忆能力,地理位置信息,社会关系数据,运动数据,饮食数据,购物数据等等。用户可以将其中的牙齿监测数据授权给XX牙科诊所使用,由他们监控和使用这些数据,进而为用户制定有效的牙齿防治和维护计划;也可以将个人的运动数据授权提供给某运动健身机构,由他们监测自己的身体运动机能,并有针对的制定和调整个人的运动计划;还可以将个人的消费数据授权给金融理财机构,由他们帮你制定合理的理财计划并对收益进行预测。当然,其中有一部分个人数据是无需个人授权即可提供给国家相关部门进行实时监控的,比如罪案预防监控中心可以实时的监控本地区每个人的情绪和心理状态,以预防自杀和犯罪的发生。

以个人为中心的大数据有这么一些特性:

1- 数据仅留存在个人中心,其它第三方机构只被授权使用(数据有一定的使用期限),且必须接受用后即焚的监管。

2- 采集个人数据应该明确分类,除了国家立法明确要求接受监控的数据外,其它类型数据都由用户自己决定是否被采集。

3- 数据的使用将只能由用户进行授权,数据中心可帮助监控个人数据的整个生命周期。

展望过于美好,也许实现个人数据中心将遥遥无期,也许这还不是解决个人数据隐私的最好方法,也许业界对大数据的无限渴求会阻止数据个人中心的实现,但是随着数据越来越多,在缺乏监管之后,必然会有一场激烈的博弈:到底是数据重要还是隐私重要;是以商业为中心还是以个人为中心。

浅谈大数据

浅谈大数据 去年三月,在北京举行的一场大数据产业推介会上,马云首次提出“人类 正从IT时代走向DT时代”,并指出DT(Data technology)时代利用数据处理技术,以服务大众、激发生产力为主。 在变革过程中,IT与DT不仅存在技术上的差异,在思想观念层面也有显着不同。IT(Information Technology)时代利用的是信息技术,以“我”为中心,强调自我控制、自我管理,而DT则充分挖掘数据资源,以“别人”为中心,不仅强调舒服的客户体验,而且也需要公开透明的游戏规则与行业环境。DT时 代的挑战和机遇,在于把互联网和传统行业相结合。 当然,在走向DT的过程中,无论是客户体验,还是互联网与传统行业的结合,数据无疑是争夺的重点资源,甚至可以说Data为王。 那么什么是大数据呢?Garnter给出的定义:大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化 的信息资产。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》[1]中 大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据进行分析 处理。大数据的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。 下面我们从一个有趣的例子开始,1948年辽沈战役期间,司令员林彪要求 每天要进行例常的“每日军情汇报”,由值班参谋读出下属各个纵队、师、团用电台报告的当日战况和缴获情况。那几乎是重复着千篇一律枯燥无味的数据:每支部队歼敌多少、俘虏多少;缴获的火炮、车辆多少,枪支、物资多少……有一天,参谋照例汇报当日的战况,林彪突然打断他:“刚才念的在胡家窝棚那个战斗的缴获,你们听到了吗?”大家都很茫然,因为如此战斗每天都有几十起,不都是差不多一模一样的枯燥数字吗?林彪扫视一周,见无人回答,便接连问了三句:“为什么那里缴获的短枪与长枪的比例比其它战斗略高?”“为什么那 里缴获和击毁的小车与大车的比例比其它战斗略高?”“为什么在那里俘虏和击毙的军官与士兵的比例比其它战斗略高?”林彪司令员大步走向挂满军用地图的墙壁,指着地图上的那个点说:“我猜想,不,我断定!敌人的指挥所就在这里!”果然,部队很快就抓住了敌方的指挥官廖耀湘,并取得这场重要战役的胜利。 这个例子真实的反映在各行各业,探求数据价值取决于把握数据的人,关 键是人的数据思维;与其说是大数据创造了价值,不如说是大数据思维触发了 新的价值增长。 首先,我认为大数据就是互联网发展到现今阶段的一种表象或特征而已, 没有必要神话它或者与我们关系不大。在以云计算为代表的技术创新大幕的衬 托下,这些原本很难收集和使用的数据开始容易被利用起来了,通过各行各业 的不断创新,大数据会逐步为人类创造更多的价值。 其次,想要系统的认知大数据,必须要全面而细致的分解它,我着手从三 个层面来展开:

大数据的思维方式

大数据的思维方式 大数据的思维方式总体思维 社会科学研究社会现象的总体特征,以往采样一直是主要数据获取手段,这是人类在无法获得总体数据信息条件下的无奈选择。在大数据时代,人们可以获得与分析更多的数据,甚至是与之相关的所有数据,而不再依赖于采样,从而可以带来更全面的认识,可以更清楚地发现样本无法揭示的细节信息。正如舍恩伯格总结道:“我们总是习惯把统计抽样看作文明得以建立的牢固基石,就如同几何学定理和万有引力定律一样。但是,统计抽样其实只是为了在技术受限的特定时期,解决当时存在的一些特定问题而产生的,其历史不足一百年。如今,技术环境已经有了很大的改善。在大数据时代进行抽样分析就像是在汽车时代骑马一样。在某些特定的情况下,我们依然可以使用样本分析法,但这不再是我们分析数据的主要方式。”也就是说,在大数据时代,随着数据收集、存储、分析技术的突破性发展,我们可以更加方便、快捷、动态地获得研究对象有关的所有数据,而不再因诸多限制不得不采用样本研究方法,相应地,思维方式也应该从样本思维转向总体思维,从而能够更加全面、立体、系统地认识总体状况。 容错思维 在小数据时代,由于收集的样本信息量比较少,所以必须确保记录下来的数据尽量结构化、精确化,否则,分析得出的结论

在推及总体上就会“南辕北辙”,因此,就必须十分注重精确思维。然而,在大数据时代,得益于大数据技术的突破,大量的非结构化、异构化的数据能够得到储存和分析,这一方面提升了我们从数据中获取知识和洞见的能力,另一方面也对传统的精确思维造成了挑战。舍恩伯格指出,“执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱,剩下95%的非结构化数据都无法利用,只有接受不精确性,我们才能打开一扇从未涉足的世界的窗户”。也就是说,在大数据时代,思维方式要从精确思维转向容错思维,当拥有海量即时数据时,绝对的精准不再是追求的主要目标,适当忽略微观层面上的精确度,容许一定程度的错误与混杂,反而可以在宏观层面拥有更好的知识和洞察力。 相关思维 在小数据世界中,人们往往执着于现象背后的因果关系,试图通过有限样本数据来剖析其中的内在机理。小数据的另一个缺陷就是有限的样本数据无法反映出事物之间的普遍性的相关关系。而在大数据时代,人们可以通过大数据技术挖掘出事物之间隐蔽的相关关系,获得更多的认知与洞见,运用这些认知与洞见就可以帮助我们捕捉现在和预测未来,而建立在相关关系分析基础上的预测正是大数据的核心议题。通过关注线性的相关关系,以及复杂的非线性相关关系,可以帮助人们看到很多以前不曾注意的联系,还可以掌握以前无法理解的复杂技术和社会动态,相关关系甚至可以超越因果关系,成为我们了解这个世界的更好视角。舍恩伯格指出,大数据的出现让人们放弃了对因果关系的渴求,

互联网思维的十大特征

互联网思维的十大特征 现在“互联网思维”很热,为什么?原因主要有三点:一是如今互联网迅猛发展已经渗透人们生活各个方面,尤其是互联网正加快向传统行业渗透和融合,对传统行业提出严峻的挑战;二是以BAT为代表的互联网公司成功证明了运用互联网思维的确为企业发展注入更大的活力和更强的竞争力;三是互联网思维是传统思维模式的颠覆,面对环境日益不确定性的增加,互联网思维更有生命力。互联网思维是一种思维模式,俗话说“思路决定出路”,了解和把握互联网思维的主要特征,对进入移动互联网的企业持续发展具有重要实践意义。 在总结众多运用互联网思维成功的企业经验的基础上,笔者认为,互联网思维主要具有如下特征: 第一,有强烈的危机感。运用互联网思维的企业自始至终都有很强的危机感,主要是原因有两点:一是企业面临的市场化变化瞬息万变,行业竞争日益加剧,今天的成功并不代表明天的成功;二是企业发展壮大了,很可能染上“大企业病”,大公司容易自满、安逸,不思进取,滋生官僚主义。所以成功的企业总是有着强烈的危机感。正如海尔CEO张瑞敏所说:“永远战战兢兢,永远如履薄冰”。正是海尔具有强烈的危机感,海尔不断根据市场化环境的变化推进企业变革,从正三角到倒三角,从自主经营体到利共体,从砸冰箱到砸组织,如今,海尔顺应互联网潮流进行改革,2014年海尔提出“企业平台化、员工创客化、用户个性化”,积极推进向平台型企业转型,努力将海尔彻底打造成一家“互联网公司”。华为、腾讯、阿里巴巴、奇虎360等成功企业,无不时刻充满着危机意识,正如腾讯马化腾所说:“外面的人给你很多掌声的时候,是最危险的”。正是腾讯自始至终充满着危机感,使腾讯不断发展壮大,如今腾讯成为我国第一大互联网公司。 第二,快速。运用互联网思维的企业,一个显著特征就是快。快主要表现在决策要快、产品推出要快、行动要快、产品迭代要快、创新速度要快、变革要快和具有快速的市场反应能力。快能使企业迅速抓住机遇,捷足先登,掌握竞争的主动权,将其他企业摔在身后。如互联网公司产品开发做到小步快跑、

用互联网思维推动商业发展

用互联网思维推动商业发展 故事一:一家仅12道菜的餐馆一个毫无餐饮行业经验的人,一家只有12道菜品的餐馆,在北京只有两家分店;仅两个月时间,就实现了所在商场餐厅坪效第一名;VC投资6000万,估值4亿元人民币。这家餐厅是什么?是雕爷牛腩。 故事二:这是一个淘品牌2012年6月在天猫上线,65天后成为中国网络坚果销售第一;2012年“双十一”创造了日销售766万的奇迹,名列中国电商食品类第一名;2013年1月单月销售额超过2200万;至今一年多时间,累计销售过亿,并再次获得IDG公司600万美元投资。这是哪个品牌?三只松鼠。 故事三:一家创业仅三年的企业2011年销售额5亿元;2012年,销售额达到126亿元;2013上半年销售额达到132.7亿元,预计全年销售达到280亿元,有可能突破300亿元;在新一轮融资中,估值达100亿美元,位列国内互联网公司第四名。这家企业大家肯定能猜到,就是小米。 与大家分享的这三个企业,虽然分属不同的行业,但又惊人地相似,我们称之为互联网品牌。它们背后的互联网思维到底是什么? 一、定义:互联网思维这一概念 在(移动)互联网、大数据、云计算等科技不断发展的背景下,对市场、对用户、对产品、对企业价值链乃至对整个商业生态的进行重新审视的思考方式。 这里的互联网,不单指桌面互联网或者移动互联网,是泛互联网,因为未来的网络形态一定 是跨越各种终端设备的,包括台式机、笔记本、平板、手机、手表、眼镜,等等。 传统企业互联网化经历的四个阶段: 首先,是传播层面的互联网化,即狭义的网络营销,通过互联网工具实现品牌展示、产品宣 传等功能; 其次,渠道层面的互联网化,即狭义的电子商务,通过互联网实现产品销售; 然后,是供应链层面的互联网化,通过C2B模式,消费者参与到产品设计和研发环节;

移动互联网的九大思维

移动互联网的九大思维 用户思维—大数据思维—简约思维 流量思维—迭代思维—极致思维 社会化思维—平台思维—跨界思维 (一)用户思维 大家都知道,在整个互联网发展过程中,其实是普通的民众去推动了消费。这里面有一个词,可能比较糙,叫做“屌丝”。它代表的是什么呢?就是真正推动互联网发展的广大网民。在互联网行业里,首先必须拥有用户至上的理念,必须给用户极致体验的产品,让用户参与进产品的设计中,这个我称之为“用户思维”。 二)迭代思维 大家都知道,互联网产品其实迭代的周期都比较短。一些传统的制造业公司,如华为,会有很多的研发流程,遵循着CMM这种高级别研发流程的管理。这种管理方式的好处是非常智能化,但有一个缺点,就是研发流程非常重,到了互联网时代,很难适应快速变化的时代要求。 所以我们现在讲究快速迭代,快速到什么程度——每周的版本迭代! 产品不是设计师想象出来的,而是不停地接触用户,了解用户的心声,同时祛除一些设计的噪音,最终跟用户达成一种默契,进行产品迭代设计。就算是BAT,在产品设计上,其实也没有真正意义上的权威,好的产品都是持续迭代出来的。 大家可能都有一个初始的出发点,更多的是产品要不停地在线上跟用户进行交流、迭代,我称之为“快速迭代的思维”。 (三)流量思维 互联网本质上是流量转移的生意。 早期互联网经历了一个接入为王的时代。那时都是用14.4K的猫(调制解调器)上网,网速很慢,但是当时的接入方——提供互联网接入的公司,仍是当时的王者,因为它是入口级的公司。 到第二阶段,就是门户时代。像雅虎等中国的四大门户网站,已经成为一个信息的入口,用户访问互联网,是通过这些门户网站,打开浏览器去访问。随着谷歌的出现,大家又以搜索引擎这样的一个入口去访问互联网。所以,本质上用户背后的流量转移就代表了这个流量的迁移。

大数据带来的四种思维

大数据带来的四种思维 2015-02-01 10:31 来源:学习时报 张义祯 近年来大数据技术的快速发展深刻改变了我们的生活、工作和思维方式。大数据研究专家舍恩伯格指出,大数据时代,人们对待数据的思维方式会发生如下三个变化:第一,人们处理的数据从样本数据变成全部数据;第二,由于是全样本数据,人们不得不接受数据的混杂性,而放弃对精确性的追求;第三,人类通过对大数据的处理,放弃对因果关系的渴求,转而关注相关关系。事实上,大数据时代带给人们的思维方式的深刻转变远不止上述三个方面。笔者认为,大数据思维最关键的转变在于从自然思维转向智能思维,使得大数据像具有生命力一样,获得类似于“人脑”的智能,甚至智慧。 总体思维 社会科学研究社会现象的总体特征,以往采样一直是主要数据获取手段,这是人类在无法获得总体数据信息条件下的无奈选择。在大数据时代,人们可以获得与分析更多的数据,甚至是与之相关的所有数据,而不再依赖于采样,从而可以带来更全面的认识,可以更清楚地发现样本无法揭示的细节信息。正如舍恩伯格总结道:“我们总是习惯把统计抽样看作文明得以建立的牢固基石,就如同几何学定理和万有引力定律一样。但是,统计抽样其实只是为了在技术受限的特定时期,解决当时存在的一些特定问题而产生的,其历史不足一百年。如今,技术环境已经有了很大的改善。在大数据时代进行抽样分析就像是在汽车时代骑马一样。在某些特定的情况下,我们依然可以使用样本分析法,但这不再是我们分析数据的主要方式。”也就是说,在大数据时代,随着数据收集、存储、分析技术的突破性发展,我们可以更加方便、快捷、动态地获得研究对象有关的所有数据,而不再因诸多限制不得不采用样本研究方法,相应地,思维方式也应该从样本思维转向总体思维,从而能够更加全面、立体、系统地认识总体状况。 容错思维 在小数据时代,由于收集的样本信息量比较少,所以必须确保记录下来的数据尽量结构化、精确化,否则,分析得出的结论在推及总体上就会“南辕北辙”,因此,就必须十分注重精确思维。然而,在大数据时代,得益于大数据技术的突破,大量的非结构化、异构化的数据能够得到储存和分析,这一方面提升了我们从数据中获取知识和洞见的能力,另一方面

互联网时代的大数据思维

互联网时代的大数据思维 张靖笙 互联网带来了什么? 当前,互联网的发展和普及已经达到了空前的规模,互联网已经成为人们日常生产和生活中不可缺少的一部分,正日益改变着人们对于信息或知识的获取和社会关系的认知方式。特别是手机移动互联网应用兴盛起来后,随时随地随手低头捣鼓手机上网几乎成了大多数城市人的习惯。 对于正处于转型升级中的中国企业,互联网大潮的冲击和洗礼是绕不过去的,必须积极去应对。认清互联网到底给人们的生活带来了什么影响和改变,给企业的经营和发展带来什么挑战和机会,这是每位企业领导人都应该认真思考的事情。我们先来看看互联网对于传统带来了什么颠覆性的影响。 (1)财富虚拟化:现在越来越多社会化大生产和市场经济活动通过互联网来开展,随着 大量的财富资源的交换转移到互联网中进行,由此改变了传统的财富存在方式,人 们越来越多的财富转换成信用和权益信息,以各种数据形式保存在互联网中。诚如 对于今天的新新人类,沟通比食物更加重要已经成为一个不争的事实,驱动财富虚 拟化的人性动力是信息需求取代了物质需求成为现代人类的第一需求,因此财富形 式的去实物化也将成为新的常态,传统的财富观念随着这个趋势必将会被颠覆,甚 至私有观念也会被信息社会里面所实现的共产主义彻底消灭; (2)选择无疆界:无论是消费者还是提供者,今天都可以通过互联网可以找到很多的选 择,互联网是一个永不休息的大市场,地域和时段都已经不是问题,今天的个人网 民们通过互联网选择个人喜好的商品、服务、伴侣、朋友、工作,企业网民通过互 联网选择原料、供应商、目标客户、合作伙伴,同时两者都把自己的各项要素资源 贡献到网上供别人选择,在全球化背景下,地理和政治疆界都不会成为这些选择的 障碍; (3)易变新常态:互联网上泛滥的多样性选择,既带来了传统社会要素缺乏时代难以催 生的新生事物的层出不穷,也带来消费者需求口味和潮流风尚的朝三暮四,互联网 让市场热点转移很快,所谓的蓝海也能迅速变红,大面积的改变几乎都能在一夜之 间完成,这种改变的速度只会越来越快,市场上的暂时胜出者被新的竞争者颠覆甚 至掘墓的周期越来越短促; (4)屌丝的逆袭:在互联网时代,每个人都可以成为电视新闻中心和出版发行者,互联 网让社会舞台的镁光灯不再专属于少数精英个人和组织,互联网让每个普通人都有 机会可以吸引全球范围内的广泛关注,让孤独的不再孤独,卑微的不再卑微,容易 被忽略的得以显现,可能被排挤的获得接纳,小人物正在通过互联网直接参与改写 历史的进程,人民的意志和力量通过互联网得到更大的伸展,屌丝(卑微下民)逆 袭上位,越来越多地从精英手上抢得发言权,网络是一个永不停息的无限大功率的 电台,好的作品通过互联网传播可以轻易实现“好事传千里”,创新和创作者的作 品因此能惠及很多人,那么他们所赢得的回报的速度和规模也会超出常规很多倍,几乎一夜之间全球流行起来的“江南Style”就让一名原本默默无闻的歌手成为和 联合国秘书长潘基文一样能影响全世界的韩国人,所以今天的“屌丝”,只要你在 个人专长上不懈努力,世界时刻为你准备着,互联网随时张开怀抱吸纳你绽放出的 生命精彩华章; (5)弄假可成真、众筹成大事:以前有句老话是:“谣言重复一万次可以变真”,而今天 在互联网让原本稀薄的力量得以聚合,让曾经被卷曲压制的想象得以延展释放,无 限小加上无限多形成了无限的可能,让原来根本不存在的事物可以从无生有,弄假

浅谈对大数据的看法

浅谈对大数据的看法 大数据与大脑有相关性。大数据在日常生活中已经开始应用广泛,它的本质不是传统的数据统计带来的简单的因果关系,而是数据的相关关系。在相关关系分析法基础上的预测才是大数据的核心。这让人自然会想到大脑的功能,每个人的思维就是一个大数据处理体系,如果有的人擅长去寻找不同事件之间发生的因果关系,那么这个叫做因果错觉,因果错觉容易发生在女性身上,因为女性因性格敏感等特点,会不自觉的将事情发生的结果,采用自己主观判断来归因,但事实上,事情之间的相关关系才是真正的关系。人的思维体系中,相关关系更加重要,相关关系代表调取大脑中的既往相关经验,来处理眼前的事情,更加客观。 大数据将开启一次重大的时代转型。信息广速度快,是很好,可是这不是最重要的,最重要的是不要让数据无处不在。大脑就像数据仓库,在数据充满我们的大脑、生活、生命中时,如果不去清理,不去遗忘,很容易一脑子浆糊,身心不舒畅。任何环境下我们都需要在纷繁的情况里简化问题。 这时自然会产生疑问:怎么删除?在这个信息碎片化的时代,如何做一个自我的搜索和过滤器,最好做成一个芯片,安放在我的手腕处皮肤下,这样,我就可以快速的找到我想看到的东西,忽视噪音,更加直接的去感受和了解自己。因为路径缩短,我便可以将时间放长,慢慢的去体会和感受。 当然芯片是个玩笑,出色的信息提取能力能够促进一个人的决策,一个人的一念一息及多年慢慢形成的价值观才是做选择的依据。你是不是有和我一样的经历,上千张照片中,删还是不删是个问题。怎么确定保留哪张,根据什么原则,每个人都有不同的原则,有的人认为,人最全的一定要留,有的人认为背景全的一定要留,有的人认为留表情最好的,有人认为留姿势最美的,甚至有的认为没对好焦距的朦胧的才是最有意境的。而我应该最清楚我怎么筛选,艺术家罗丹说,“雕像就在那块石料里,我只是将那些不要的东西去掉了。但是要知道雕像到底是什么,只有我自己才明白我自己到底要雕什么。”看书也是一样,书籍能使一个人瞥见这个世界的一角。是你自己选择去瞥见哪一角。 从心理学的角度,做出选择,同时意味着舍弃其他的可能性,这是一件异常困难的事情。造成这个困难的无非是“利”、“弊”两个字,但因利弊两个字背后掺杂了太多的心理变量,因此难倒了古往今来多少英雄好汉。为了有能力更好的进行抽象的思考和决策,挑战自我,不妨尝试一下删删删删的效果。 日本可能因为资源集中而紧缺,一直很倡导简生活,最近很流行的一位日本女士所著的一本书《断舍离》,将人身边的外物采用各种方式进行清理,代表对内心的一种扫除力,从而保持一种简约清爽的生活态度。还有很多其他方式对生活进行删减,看网上写过一个训练,基本要求为整天不语,不带手机,不带手表,

大数据时代的思维革命的演讲稿

大数据时代的思维革命的演讲稿 目前再说“我们生活在一个网络时代”的话,显得有点落伍了,当下最时髦的说法是“我们生活在一个大数据时代”。从表层意义上看,人们是用“大数据”来描述和定义信息爆炸时代产生的海量数据。实际上,“大数据”的渗透能力远远超出人们的想象,不管是在物理学、生物学、环境生态学等领域,还是军事、金融、通信、贸易等行业,数据正在迅速膨胀,没有一个领域可以不被波及。“大数据”正在改变,甚至颠覆我们所处的整个时代,对社会发展产生方方面面的影响,也让我们的思维不得不跟随时代的变迁而经历自我革命。 xx年5月20日,在北京朝阳北路朝阳大悦城六楼,一家餐厅低调开业了。没有热闹的广告,没有红地毯,没有领导剪裁和讲话,有的只是长达半年的封闭测试,邀请一些明星“吃货”们试吃,这些明星“吃货”一旦被成功邀请,就立即通过微博、微信向粉丝们讲述就餐感受。而这家餐厅通过分析明星与粉丝的互动信息等大数据,渐渐掌握了话语权,并尽可能地改造菜品、环境、流程。于是,一个传奇诞生了。这家名为“雕爷牛腩餐厅”现在被标榜为中国第一家“轻奢餐”餐饮品牌,其烹饪牛腩的秘方是向周星驰电影《食神》中的原型人物——香港食神戴龙——以500万元购买而得。戴龙经常为李嘉诚、何鸿燊等港澳名流提供家宴料理,他还是1997年香港回归当晚的国宴行政总厨,所以他的代表作,一道“咖喱牛腩饭”和一道“金汤牛腩面”,成为无数人梦寐以求的舌尖上的巅峰享受。这是微博、

微信的胜利,也是互联网的胜利,更是大数据的胜利。以互联网为主要手段的大数据,就这么征服了市场,颠覆了经典,创造了传奇。 其实,雕爷传奇绝非个案,在大数据时代,这样的传奇每天都 会发生。小米、黄太吉的成功都是基于大数据思维。我们身处大数据时代,很多的传奇在发生,但也很快就有可能被淹没在大数据时代的汪洋大海里。 其实,所谓的大数据思维具有三层含义。第一层含义是,大数 据思维必须分析全面的数据而非随机抽样,必须重视数据的复杂性,弱化精确性,必须关注数据的相关性,而非因果关系。第二层含义是要把数据当做一种可以升值的重要资产,而不是只做研究对象,研究完就束之高阁。第三层含义是数据有变现功能,通过挖掘数据价值,就能改变价值的生成基础和价值链条。 历史上任何一次成功的变革都是由思维方式的转变开始的,旧 的体制和传统理念在面临新的思维逻辑的时候,如果不能与时俱进,吸收并转变为顺应潮流的新思维,通过新思维来重新组织战略和策略,那么任何过去成功的经验反而会成为阻碍发展的桎梏。这种新思维颠覆巨头的案例最先发生在信息技术的传统领域,然后渗透到传统的商业领域。比如黑莓,比如摩托罗拉,比如诺基亚,比如柯达,比如雅虎等等,案例比比皆是。 大数据思维的基础是互联网,而互联网有没有思维呢?答案是 肯定的。在xx年,互联网思维是科技先锋大拿们的热门话题,一个 个以互联网思维为话语体系的圈子论坛及营销甚嚣尘上。就连CCTV

大数据思维

大数据思维、技术和应用试卷 一.单选题 1.由于信息技术的高速发展,网上的大数据调查中,数据的质量和可靠性已经得到彻底解 决。(分数:10分) 标准答案:B A.正确 B.错误 2.法律大数据演示的结果表明,针对“酒驾”这一查询,相关罪名中,排名第一的是()。(分数:10分) 标准答案:D A.故意伤害罪 B.妨碍公务罪 C.危害公共安全罪 D.交通肇事罪 3.()是现代社会在掌握海量数据收集、存储和处理技术基础上所产生的一种以群体经验进行判断和预测的能力,代表一种新经验主义。(分数:10分) 标准答案:C A.云计算 B.虚拟技术 C.大数据 D.物联网 4.近年来,搜索引擎不仅在性能和功能上有了飞跃的进步,并且其基本的架构和内在的一些理论假设与几十年前相比,也发生了本质的变化。(分数:10分) 标准答案:B A.正确 B.错误 5.21世纪初,关于查询结果排序我们找到了一种新的方法:()。(分数:10分) 标准答案:A A.大数据方法:用户的点击数据 B.概率模型 C.神经网络模型 D.语言模型 6.对网上动态的数据进行搜索,就进入实时搜索,实时搜索的目的是:尽量缩短网上信息出现的速度和用户收到的时间之间的时间差。(分数:10分)

标准答案:A A.正确 B.错误 7.今天,随着信息科学技术的高速发展,人类对数据的收集和分享能力空前强大。其中,()可以收集虚拟世界的数据。(分数:10分) 标准答案:D A.传感器 B.物联网 C.可穿戴设备 D.互联网 二.多选题 1.下列有关大数据与谣言的说法中,观点正确的包括()。(分数:10分) 标准答案:BCD A.讲得多的不是谣言,讲的少的都是谣言 B.大数据往往是自洽的,谣言必然与相关数据不相容 C.识别网络上的谣言其实是很困难的事情 D.很多网络上的谣言来源也不清楚 E.如果一句话来自于一个可信的网站,就不是谣言 2.本讲提到,传统思维中的理性主义是指()。(分数:10分) 标准答案:ABD A.我们相信人能够透过现象看到本质 B.能够从特殊到一般 C.能够从一般到特殊 D.能够从自己有限的经验里得到一些普遍规律或者模型,将它用于解决新的问题 E.我们相信人不能够透过现象看到本质 3.根据本讲,新经验主义者的主要能力体现在()。(分数:10分) 标准答案:AC A.大容量存储精品文档,你值得期待 B.可以看成一个理性主义者 C.快速查找匹配的能力 D.能够从从小样本、小数据上通过逻辑思维、归纳推理的方法得到模型 E.善于建立模型

大数据时代的互联网思维

大数据时代的地标选项 各位白领,各位骨干,各位精英: 大家好。在这个极富现代气息的写字楼里,我仿佛穿越到了上个世纪六十年代的曼哈顿,在麦迪逊大道的一间办公室里,苦思冥想一个产品的创意。 2012年,《纽约时报》、《华尔街日报》等西方主流媒体不约而同地开始关注“big data”这个词,“大数据”第一进入大众视野。进入2013年,“大数据”开始在国内走红,一些科技网站或博客网站,开始对“大数据”三个字进行各种各样的描述及解读。 那么什么是大数据时代?它会给我们带来怎样的市场冲击?在大数据时代,我们该怎样应对市场?如何从海量的数据中,寻找有价值的信息? 大数据时代 说到大数据,我不得不佩服阿尔文·托夫勒,当他在1980年发表《第三次浪潮》时,互联网基础协议web还没有诞生,10年之后,这个协议才在美国诞生,第一个万维网浏览器(同时也是编辑器)和第一个网页服务器才被制作出来。但是,牛叉的托夫勒像一个穿越者,居然一眼看透未来,在《第三次浪潮》中,第一次提出了“大数据”,并将其热情地称颂为“第三次浪潮的华彩乐章”。 不过,大约从2009年开始,“大数据”才成为互联网信息技术行业的流行词汇。美国互联网数据中心指出,互联网上的数据每年将增长50%,每两年便将翻一番,而目前世界上90%以上的数据是最近几年才产生的。 大数据多大 那么,大数据究竟有多大?一组名为“互联网上一天”的数据告诉我们,一天之中,互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多(相当于美国两年的纸质信件数量);发出的社区帖子达200万个(相当于《时代》杂志770年的文字量);卖出的手机为37.8万台,高于全球每天出生的婴儿数量37.1万…… 2012年,互联网数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量为0.49ZB,2009年的数据量为0.8ZB,2010年增长为1.2ZB,2011年的数量更是高达1.82ZB,相当于全球每人产生200GB以上的数据。而到2012年为止,人类生产的所有印刷材料的数据量是200PB,全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了2020年,全世界所产生的数据规模将达到今天的44倍。 所以,越来越的人开始相信,一个不同于过往任何时代的“大数据时代”来了。他是如此地迫不及待,在我们还没有意识到的时候,呼啸而至,并且以极快的速度生长着。 还是让我列举一下他的生长速度吧。每秒钟,人们发送290封电子邮件;每分钟人们在youtube上传20小时的视频;人们每月在总共在facebook上浏览7000亿分钟;移动互联网 网用户发送和上传的数据量达到1.3exabytes,相当于10的18次方;每秒钟亚马逊处理72.9笔订单。 大数据的价值 有研究者认为,大数据有六大价值。 第一,通过大数据研究互联网网民的情绪,并通过这些情绪指数影响自己的商业决策。据说,美国华尔街有一家公司的CEO每天的主要工作就是研究全球3.4亿微博账户的留言,并通过研究进而判断民众情绪,再以“1”到“50”进行打分。根据打分结果,他再决定如何处理手中数以百万美元计的股票。他判断原则很简单:如果所有人似乎都高兴,那就买入;

互联网九大思维

1.用户思维(对消费者、市场的理解) “七格格”服装领域淘品牌,每次新品上市,都会把设计款式放到其管理的粉丝群组里,让粉丝投票,有近百个群组,辐射数万人,这些粉丝决定了最终潮流趋势。 2.简约思维(对产品规划,设计的理解) 外观简洁,内部流程化。Google首页永远都是清爽的界面,苹果的外观、特斯拉汽车的外观,都是这样的设计。 3.极致思维(对产品/服务,用户体验的理解) 阿芙精油客服24小时轮流上班,使用Thinkpad小红帽笔记本工作,因为使用这种电脑切换窗口更加便捷 4.迭代思维(对创新流程的理解) Zynga游戏公司每周对游戏进行数次更新,小米MIUI系统坚持每周迭代。 5.流量思维(对经营模式的理解) 1)基础免费,增值收费2)短期免费,长期收费360杀毒,免费模式,搅乱市场,积累客户,拓展浏览器市场,增值盈利。 6.大数据思维(对资产、竞争力的理解)Netfix公司通过统计3000万订阅用户每天在网站上产生3000多万个行为数据,分析发现大卫芬奇、主凯文史派西很受欢迎,由此邀请他为导演,翻拍了《纸牌屋》,上线后,用户增加了300万,达到2920万。 7.社会化思维(对于关系链、供应链的理解) 通过关系链进行传播,土曼科技,10条微信,3千多人转发,11小时预订售出18698只土曼T-Watch,达933.0302万元。 8.平台思维(对商业模式、组织形态的理解) 百度基于搜索平台打造多方共赢生态圈,开发游戏、音乐、视频、地图、社群等多种免费服务,你不具备开发平台时,怎样利用现有平台。 9.跨界思维(对产业边界、产业链的理解) 阿里巴巴、腾讯掌握用户数据,相继申办银行;小米善用用户思维,做手机、做电视。 互联网思维,是传统企业互联网转型制胜关键 传统企业互联网转型成败,与“基因”无关 未来将不会再有互联网企业,因为所有企业都将成为互联网企业 互联网成为生活中的“水和电”,互联网思维成为最根本商业思维 第2节互联网思维的本质,是商业回归人性 新一代互联网的特征:万物皆可互联 互联网的发展,让互动变得更加高效 互联网思维,更注重人的价值 互联网思维,堪比“文艺复兴” 第3节传统企业的互联网转型,是一项系统工程 传统企业“触网”,应规避四大误区 传统企业“触网”的四重境界 传统企业互联网转型“三部曲” 互联网思维,重塑传统企业“价值链” 互联网思维,开启新商业文明时代 第一章用户思维 第1节从品牌运营到企业经营,一切以用户为中心 用户思维,在价值链各个环节都要“以用户为中心”

浅谈大数据发展现状及未来展望

浅谈大数据发展现状及未来展望 中国特色社会主义进入新时代,实现中华民族伟大复兴的中国梦开启新征程。党中央决定实施国家大数据战略,吹响了加快发展数字经济、建设数字中国的号角。国家领导人在十九届中共中央政治局第二次集体学习时的重要讲话中指出:“大数据是信息化发展的新阶段”,并做出了“推动大数据技术产业创新发展、构建以数据为关键要素的数字经济、运用大数据提升国家治理现代化水平、运用大数据促进保障和改善民生、切实保障国家数据安全”的战略部署,为我国构筑大数据时代国家综合竞争新优势指明了方向! 今天,我拟回顾大数据的发端、发展和现状,研判大数据的未来趋势,简述我国大数据发展的态势,并汇报我对信息化新阶段和数字经济的认识,以及对我国发展大数据的若干思考和建议。 一、大数据的发端与发展 从文明之初的“结绳记事”,到文字发明后的“文以载道”,再到近现代科学的“数据建模”,数据一直伴随着人类社会的发展变迁,承载了人类基于数据和信息认识世界的努力和取得的巨大进步。然而,直到以电子计算机为代表的现代信息技术出现后,为数据处理提供了自动的方法和手段,人类掌握数据、处理数据的能力才实现了质的跃升。信息技术及其在经济社会发展方方面面的应用(即信息化),推动数据(信息)成为继物质、能源之后的又一种重要战略资源。 “大数据”作为一种概念和思潮由计算领域发端,之后逐渐延伸到科学和商业领域。大多数学者认为,“大数据”这一概念最早公开出现于1998年,美国高性能计算公司SGI的首席科学家约翰·马西(John Mashey)在一个国际会议报告中指出:随着数据量的快速增长,必将出现数据难理解、难获取、难处理和难组织等四个难题,并用“Big Data(大数据)”来描述这一挑战,在计算领域引发思考。2007年,数据库领域的先驱人物吉姆·格

互联网思维和大数据

互联网创业(更懂创业、用户与市场) 1. 第一重——完美终端 工业经济时代的玩法是,企业凭经验、凭感觉做产品也能生存。因为,这种消费者需求太过基础,根本不需要你去分析。但互联网经济时代,消费者在基础需求之上产生了多维的高端需求,细分出无数长尾利基市场,这就需要一种“定制化产品体验”。 在互联网经济时代,生产力高度发展,产品丰饶导致消费者力量的崛起,企业必须基于其长尾需求进行定制,并且还要一击即中,直接提供核心价值,因为没人给你第二次机会。 互联网思维下,产品的生产和营销都基于“大数据”实现“定制化”:消费者的每项消费痕迹都通过各类数据终端进入“云平台”,企业通过云计算对大数据进行处理之后找出消费习惯。甚至,在不能直接接触到消费者时,还需要通过其他的端口购买数据。而后,企业方能再进行定制化的简约、极致、人性化产品的生产和推送。 一是利用Web3.0时代的特点,到线上搜集大数据,这个东西很妙,只要你使用了SNS的社交方式(且不潜水),你是hold不住自己的。 二是利用其它端口搜集信息。 他根据客户的偏好做C2B,确定了要打造“励志新土豪”。概念设计(concept-design)放弃了价值链一体化的不靠谱设想,打造了一张社会化协 作的模块化价值网。 2. 第二重——云端服务 某种程度上说,产品只是个端口,“极简主义”和“小白适用”有可能使这个端口变得简单,甚至同质化。所以,在消费者使用端口后,能否在后续使用中得到“增值型产品体验”才至关重要!如何才能增值?当然要借助于互联网的云平台。 通过与客户销售获得大数据后,可以有两种选择:要么是自己处理数据、做产品;要么是把自己打造为平台,引入第三方来做产品。 现实中,这样操作的企业也不少,因为互联网云端对于数据的吸纳和处理都能实现规模效应,轻松实现产品复杂的增值功能,使得企业能够利用这些数据来产生价值。我们可以看看两个例子。

大数据带来的四种思维

大数据带来的四种思维 作者:张义祯 近年来大数据技术的快速发展深刻改变了我们的生活、工作和思维方式。大数据研究专家舍恩伯格指出,大数据时代,人们对待数据的思维方式会发生如下三个变化:第一,人们处理的数据从样本数据变成全部数据;第二,由于是全样本数据,人们不得不接受数据的混杂性,而放弃对精确性的追求;第三,人类通过对大数据的处理,放弃对因果关系的渴求,转而关注相关关系。事实上,大数据时代带给人们的思维方式的深刻转变远不止上述三个方面。笔者认为,大数据思维最关键的转变在于从自然思维转向智能思维,使得大数据像具有生命力一样,获得类似于“人脑”的智能,甚至智慧。 总体思维 社会科学研究社会现象的总体特征,以往采样一直是主要数据获取手段,这是人类在无法获得总体数据信息条件下的无奈选择。在大数据时代,人们可以获得与分析更多的数据,甚至是与之相关的所有数据,而不再依赖于采样,从而可以带来更全面的认识,可以更清楚地发现样本无法揭示的细节信息。正如舍恩伯格总结道:“我们总是习惯把统计抽样看作文明得以建立的牢固基石,就如同几何学定理和万有引力定律一样。但是,统计抽样其实只是为了在技术受限的特定时期,解决当时存在的一些特定问题而产生的,其历史不足一百年。如今,技术环境已经有了很大的改善。在大数据时代进行抽样分析就像是在汽车时代骑马一样。在某些特定的情况下,我们依然可以使用样本分析法,但这不再是我们分析

数据的主要方式。”也就是说,在大数据时代,随着数据收集、存储、分析技术的突破性发展,我们可以更加方便、快捷、动态地获得研究对象有关的所有数据,而不再因诸多限制不得不采用样本研究方法,相应地,思维方式也应该从样本思维转向总体思维,从而能够更加全面、立体、系统地认识总体状况。 大数据是数据数量上的增加,以至于我们能够实现从量变到质变的过程。 如:照片到电影,一分钟一张,一秒钟一张,一秒钟24张成了电影 量变质变定律有时间阶段发展影响和空间相关关联影响 离散思维向连续思维转换 让我来告诉大家,美国有一家创新企业https://www.360docs.net/doc/5a17169064.html,。它可以帮助人们做购买决策,告诉消费者什么时候买什么产品,什么时候买最便宜。预测产品的价格趋势。这家公司背后的驱动力就是大数据。他们在全球各大网站上搜集数以十亿计的数据,然后帮助数以十万计的用户省钱,为他们的采购找到最好的时间,提高生产率,降低交易成本,为终端的消费者带去更多价值。 在这类模式下,尽管一些零售商的利润会进一步受挤压,但从商业本质上来讲,可以把钱更多地放回到消费者的口袋里,让购物变得更理性。这是依靠大数据催生出的一项全新产业。这家为数以十万计的客户省钱的公司,在几个星期前,被ebay以高价收购。

(完整word版)《大数据思维与决策》读后感

《大数据思维与决策》读后感 ——徐乾程学号652120100004 21世纪将是大数据的时代。 与《大数据预测》不同,《大数据思维与决策》并没有太多理论内容的介绍,作者主要通过大量例子说明近20年来大数据对传统行业、传统思维的冲击,从医学到教育领域到金融行业再到互联网,大数据思维的冲击都是史无前例的。其中给我印象比较深刻的主要有以下两点: 一、回归方程预测。从前人们的决策几乎全靠人为经验判断,作者在这个问题里举了“寻找棒球队员”的例子,传统的方式是经理人通过观看无数场球赛,观察球员的每一个细致动作,经理人根据经验判断该球员是否有潜力成为球星。该方式代价非常大且人为主观因素会影响决策正确率。大数据思维则是分析球员历史训练及比赛的记录数据,利用数理统计的回归方法分析数据,从而预测有潜力值球员。相对传统方式,大数据方法成本大大降低,且准确率更高。正如书中所说,数据比人客观,且现在大规模数据的获取更加容易,成本较低。 二、随机试验。作者提到的第二个很有用的方法是随机试验。基本思想是:随机抽取样本,控制单一变量,进行试验,分析试验数据检验哪个方式更加具有价值。这里采用的例子很多,其中一个就是某一个网站利用随机随机试验方法为网站开发者提供工具检测怎样的界面用户更加喜欢。文中列举“医生洗手对手术患者死亡影响”、“某一政策是否正确”等例子说明大数据下随机试验的利用。 但是,正如《大数据预测》里介绍的一样,大数据作为一种工具,必然存在两面性。大数据决策为我们提供很多快捷、准确的预测。但是,过分依赖数据则让我们在很多时候得出的结果相差很大。利用大数据进行决策,人为的经验还是不可或缺的,权值的设定,参数的调整,初值的设定等这些都是经验得来的,但是即使是这些经验,也不能太过依赖,因为数据在变化,世界在变化,以前正确的下一秒随时错误。总的来说,数据与人为经验相结合,互为促进。此外,随着科技发展,智能设备越来越普及,信息无处不在,数据无处不在。谷歌等都倡议数据共享,建立人人都可以利用的数据库。对于数据开发者、数据决策者而言的确是十分有利的。能够为客户创造价值,如机票预测是客户购买实惠机票很好的工具,这种情况客户也是乐意见到的。然而,一些恶意黑客当然也会因此入侵,获取用户数据,对人们生活带来很多干扰甚至是安全隐患。所以说,大数据下仍然很多问题,不过利益在驱动,还是会继续发展。大数据给人类社会的方方面面带来了巨大的变革,这是社会发展的潮流,不可逆转,我们只有顺应这种潮流,在思想上和技能上做好准备才能成为时代的弄潮儿。对于一家公司或一个国家,要从根本上改变思维和观念,尽早适应这种潮流。

互联网思维的精髓

互联网思维的精髓 互联网思维精髓大总结:1、用户思维;2、简约思维;3、极致思维;4、迭代思维;5、流量思维;6、社会化思维;7、大数据思维;8、平台思维;9、跨界思维。 课前秀:三个段子 第一个段子:一个毫无餐饮行业经验的人开了一家餐馆,仅两个月时间,就实现了所在商场餐厅坪效第一名;VC投资6000万,估值4亿元人民币,这家餐厅是雕爷牛腩。 只有12道菜,花了500万元买断香港食神戴龙牛腩配方;每双筷子都是定制、全新的,吃完饭还可以带回家;老板每天花大量时间盯着针对菜品和服务不满的声音;开业前烧掉1000万搞了半年封测,期间邀请各路明星、达人、微博大号们免费试吃……雕爷牛腩为什么这样安排?背后的逻辑是什么? 我们再看第二个段子:这是一个淘品牌,2012年6月在天猫上线,65天后成为中国网络坚果销售第一;2012年“双十一”创造了日销售766万的奇迹,名列中国电商食品类第一名;2013年1月单月销售额超过2200万;至今一年多时间,累计销售过亿,并再次获得IDG公司600万美元投资。这个品牌是三只松鼠。 三只松鼠带有品牌卡通形象的包裹、开箱器、快递大哥寄语、坚果包装袋、封口夹、垃圾袋、传递品牌理念的微杂志、卡通钥匙链,还有湿巾。一个淘品牌,为什么要煞费苦心地做这些呢? 再看第三个段子:这是一家创业仅三年的企业。2011年销售额5亿元;2012年,销售额达到126亿元;2013上半年销售额达到132.7亿元,预计全年销售可能突破300亿元;在新一轮融资中,估值达100亿美元,位列国内互联网公司第四名。

这家企业是小米。雷军说,参与感是小米成功的最大秘密。怎样理解参与感? 这三个企业虽然分属不同的行业,但又惊人地相似,我们都称之为互联网品牌。 它们背后的互联网思维到底是什么? 互联网思维“独孤九剑” 我给互联网思维下了个定义:在(移动)互联网、大数据、云计算等科技不断发展的背景下,对市场、对用户、对产品、对企业价值链乃至对整个商业生态的进行重新审视的思考方式。 “独孤九剑”是华山派剑宗风清扬的武林绝学,强调“无招胜有招”,重在剑意,与互联网思维有异曲同工之妙。也意味着互联网思维将像“独孤九剑”破解天下各派武功一样,去重塑及颠覆各类传统行业。 我讲一下我所理解的互联网思维体系。 1、用户思维 “独孤九剑”第一招是总诀式,第一招学不会,后面的招数就很难领悟。互联网思维也一样。互联网思维,第一个,也是最重要的,就是用户思维。用户思维,是指在价值链各个环节中都要“以用户为中心”去考虑问题。 作为厂商,必须从整个价值链的各个环节,建立起“以用户为中心”的企业文化,只有深度理解用户才能生存。没有认同,就没有合同。 这里面有几个法则: 法则1:得“屌丝”者得天下。

相关文档
最新文档