大数据在移动通信中的应用探讨

科技创业家

理　论　研　究

２０１４年０１（下）

ＴＥＣＨＮＯＬＯＧＩＣＡＬ　ＰＩＯＮＥＥＲＳ

１２５

科技创业家　ＴＥＣＨＮＯＬＯＧＩＣＡＬ　ＰＩＯＮＥＥＲＳ１ 引言

随着新一代信息技术的融合发展，物联网、移动互联网、数字家庭、社会化网络等应用使得数据规模快速扩大，处理和分析大数据的的需求日益旺盛，兴起了大数据热潮，使得大数据领域飞速发展。反过来，大数据的分析、处理、优化结果又反馈到生产实际当中，进一步改善了生产效率，进而推动新一代信息技术产业的向前发展。根据美国德克萨斯大学对各个行业和大型企业的数据利用率和人均产出率进行的广泛研究得出如下结论：数据分析实用效率每提高１０％，财富１００强中的企业人均产出提高１４．４％，零售行业人均产出分别提高４９％，咨询服务行业人均产出分别提高３９％，传统行业人均产出都可提高２０％以上。由此可见，伴随着我国国民经济的快速发展，急需加强在大数据领域的基础研究和技术发展，促进我国经济又好又快发展。早在２０１０年１０月，国家发改委、工信部就联合发布通知，确定在北京、上海、深圳、杭州、无锡开展云计算服务创新发展试点，明确了国家发展云计算的总体思路和战略布局。

在１９８０年美国社会思想家托夫勒的《第三次浪潮》中就预言到，“如果说ＩＢＭ的主机拉开了信息化革命的大幕，那么大数据则是第三次浪潮的华彩乐章”。２０１１年麦肯锡全球研究院发布研究报告，“大数据”一词首次正式被提出，这份报告讲解了处理这些数据能够释放出的潜在价值，认为对大数据的分析与挖掘，会在经济生活中产生巨大效益，从此，全球开始了对大数据的前所未有的关注。近几年来，《Ｎａｔｕｒｅ》和《Ｓｃｉｅｎｃｅ》等国际顶级学术刊物相继出版专刊探讨大数据的研究，报道人类已迈进ＰＢ（１０１５）规模的大数据时代，并从互联网技术、环境科学、生物医药等方面介绍了大数据所带来的技术挑战。同时，２０１２年美国政府宣布启动“大数据计划”，包括ＮＳＦ、ＮＩＨ、ＤｏＥ、ＵＳＧＳ等六家美国联邦机构将首期资助２亿多美元用于大数据相关研究及工具和技术的研发，这是继１９９３年美国宣布“信息高速公路”计划后的又一次重大科技发展部署，美国政府认为大数据是“未来的新石油”，把大数据研究上升为国家发展战略。当今全球的数据量已达到ＺＢ（１０２１）级，数据正以前所未有的速度在不断的增长和累积，但是人类对这些数据的利用率却很

低。学术界、工业界甚至于政府机构都已经开始密切关注大数据问题，并对其产生了浓厚的兴趣。我国也高度重视大数据技术的产业发展，特别是近期，中国研制的天河二号超级计算机系统，成为全球最快的超级计算机，计算速度达到每秒３．３９ⅹ１０１６次双精度浮点运算，进一步加强了我国大数据科学研究的基础设施，为促进大数据应用开发奠定基础，为我国在大数据领域掌握了竞争主动权。

大型ＩＴ跨国企业成为发展大数据处理技术的主要推动者，如ＩＢＭ、Ｏｒｅｃａｌ、Ｍｉｃｒｏｓｏｆｔ、Ｇｏｏｇｌｅ、Ａｍａｚｏｎ、Ｆａｃｅｂｏｏｋ等企业，均已发布了应对大数据的挑战的相关解决方案。特别是ＩＢＭ公司，早在２００５年就提出了智慧地球的概念，阐释了不仅能从大数据的分析中获取洞察力，更能将这些洞察力转化为强有力的行动。通过查找、可视化和了解所有大数据可以改进决策制定过程；通过分析各种各样的机器数据和运营数据，以获得更好的业绩；通过整合其他内部和外部信息扩展现有的客户视图；通过整合大数据和数据仓库，提高操作效率；通过实时监控网络安全，检测欺诈，降低风险。ＩＢＭ将数据分析作为其大数据战略的核心，其海量数据分析平台ＩｎｆｏＳｐｈｅｒｅＢｉｇＩｎｓｉｇｈｔｓ等相关产品经过了一系列创新，可以更好地支持大数据处理。全球最大的社交网站Ｆａｃｅｂｏｏｋ，利用社交网络收集了海量用户行为和网络群组关系数据，将这些海量数据利用用户行为分析系统分析出海量用户的行为习惯，定向对不同用户群组发布针对性的广告，获得了巨额收益。大型数据库软件开发公司Ｏｒａｃｌｅ，在现有的数据库产品中引入数据挖掘和分析技术，再配合其大型的云计算中心，组成大数据系统解决方案。

２ 大数据应用实施关键技术

大数据技术涉及计算机、应用数学等

几乎所有的学科领域。大数据关键技术不仅包括数据存储与分析技术等核心技术，也包括数据处理、数据管理、数据呈现等重要技术。近年来掀起的云计算热潮，已经应用于社会生产的各个方面。

数据存储方面，亚马逊公司是先行者，它的Ｓ３云服务已经成为了云存储的业界标准。无论在用户使用、商业模式、所提供服务的便捷性和规模增长，亚马逊公司都为

这些领域提供了经典范例。还有围绕ＮｏＳＱＬ的新技术和模式，１０ｇｅｎ的ＭｏｎｇｏＤＢ，ＤａｔａＳｔａｘ的Ｈａｄｏｏｐ构建方案Ｃａｓｓａｎｄｒａ，ＮｏＳＱＬ数据库技术提供商Ｃｏｕｃｈｂａｓｅ等等。

数据处理方面，Ｈａｄｏｏｐ公司的ＧｏｏｇｌｅＭａｐＲｅｄｕｃｅ的大数据分布式处理架构是大数据生态系统的主角，许多的商业和产品的创新也围绕这个架构产生。如由雅虎分拆的ＨｏｒｔｏｎＷｏｒｋｓ，有Ｈａｄｏｏｐ创始人ＤｏｕｇＣｕｔｔｉｎｇ坐镇的Ｃｌｏｕｄｅｒａ，提升Ｈａｄｏｏｐ速度的ＭａｐＲ等。

数据分析技术包括数据挖掘、机器学习等人工智能、商业智能技术，涉及关联规则挖掘、集成学习、遗传算法、神经网络、优化、模式识别、预测模型、回归、统计、时间序列分析、关联规则学习、聚类分析等。数据挖掘技术，是指通过分析每个数据，从大量数据中寻找其规律的技术，它是一组结合数据库管理的统计和机器学习方法从大数据集提取模式的技术。机器学习技术，是使计算机模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

大数据技术是一系列技术的集合，任何单一的软件产品都无法完全解决大数据问题，需要一整套全面的解决方案。需要各种应用系统能够根据需要获取计算能力、存储空间和各种软件，并通过各种网络传递给各种使用者。

３ 信息通信业大数据发展现状

３．１信息通信业数据业务特征与需求分析

巨大的用户基数。电信业务已经成为人们生活中的必需品，用户数量非常巨大，整体市场饱和程度逐步提高。截至２０１３年６月底，我国网民数量达到５．９１亿，手机网民规模达４．６４亿，网民中使用手机上网的人群占比提升至７８．５％。

拥有数据资源。随着３Ｇ的普及，无线上网和智能手机得到了高速发展，手机上网流量迅速增长，导致电信行业数据量呈现爆炸性增长。电信运营商通过部署相应数据挖掘的技术可以获得几种数据类型。一是人用户入网登记数据，主要包括在登记时提交的个人姓名、性别等数据、手机号码、ＩＥＭＩ、状态码等数据。二是计费系统记录的数据，主要包括用户的套餐选择数据、资费数据、消费历史等。三是以用户位置数

大数据在移动通信中的应用探讨

谢华

（联通通信建设有限公司上海分公司 上海 ２０００５０）

摘　要：互联网的快速发展，计算机运算处理能力的日益强大，云计算和数据中心的兴起，促使大数据时代快速到来。如何充分有效利用大数据技术，获取其中蕴藏的巨大价值，这些已经成为大数据时代所面临的主要任务。通过大数据分析技术的创新发展，可以极大增强国民经济可持续发展动力。本文首先对目前主要的大数据分析方法、技术和应用进行了分析；进而对移动通信业大数据分析的前景进行展望；最后阐述了我们在移动通信业大数据应用方面的几点建议。关键字：大数据 移动通信 数据分析

作者简介：谢华（１９７７—），男，山西朔州人，大学本科，联通通信建设有限责任公司，工程师，主要从事通信网络建设工作。

理　论　研　究

科技创业家

２０１４年０１（下）

ＴＥＣＨＮＯＬＯＧＩＣＡＬ　ＰＩＯＮＥＥＲＳ

１２６科技创业家　ＴＥＣＨＮＯＬＯＧＩＣＡＬ　ＰＩＯＮＥＥＲＳ

据，通过分析用户接入基站地址，获得用户位置。主要包括基站位置（经度、纬度）、所属ＮｏｄｅＢ、ＳＧＳＮ　ＩＰ、ＧＧＳＮ　ＩＰ等数据。四是用户行为数据，包括用户业务使用类型、访问网站（ＵＲＬ）、经常使用的软件类型，登陆访问时间、上行流量、下行流量等数据。

通信用户数以亿计的基数保证了数据的海量和多样性，通信网络的实时承载保证了数据的速度，更重要的是，电信运营商还可以搜集到用户位置、大体收入、行为习惯等有价值的数据，进而为精准营销提供参考。因此，电信运营商在掌握用户行为数据方面具有先天优势，一般互联网厂商所望尘莫及。随着智能手机和高速网络的普及，运营商能够获得的用户行为数据还将更为丰富。

３．２国内外信息通信业大数据应用典型案例

对于电信运营商而言，海量的数据以前并未带来可观的收入，电信运营商在大数据领域的探索遇到了平台建设、技术路线、安全隐私问题等方面的问题，但当今，国内外作为电信产业链核心地位的电信运营商的业务也开始了面向大数据的调整和转变。

一方面，电信运营商创造出基于大数据的新业务模式。以法国最大的电信运营商法国电信为例，其承担了法国很多公共服务项目的ＩＴ系统建设，在这些信息系统中，法国电信开始尝试挖掘大数据的潜在价值。比如，法国电信承建了一个法国高速公路数据监测项目，每天都会产生５００万条记录，对这些记录进行分析就能为行驶于高速公路上的车辆提供准确及时的信息，从而有效提高道路通畅率。２０１２年，西班牙电信英国公司与市场研究公司ＧＦＫ联手，成立名为西班牙电信数字洞察（ＴｅｌｅｆｏｎｉｃａＤｉｇｉｔａｌ　Ｉｎｓｉｇｈｔｓ）的新部门，在巴西、英国推出了名为智慧足迹（Ｓｍａｒｔ　Ｓｔｅｐｓ）的首款产品，该产品基于完全匿名和聚合的移动网络数据，可对某个时段、某个地点人流量的关键影响因素进行分析，并将分析结果面提供给政企客户，帮助政府和企业进行相关决策。

另一方面，电信运营商将自身的运营与大数据结合起来，通过对用户的网络使用数据进行分析，并将分析结果用于网络建设和优化；通过对用户通信消费行为的挖掘分析，在业务拓展的用户精确营销方面有的放矢。电信运营商抓住大数据带来机会，选用数据挖掘产品来为用户数据和其商业活动建立探索模型，来预测潜在客户的购买方向，掌握他们变成用户之后的可能价值，根据数据挖掘的结果来了解哪些人会购买哪些服务和产品，以维系现有客户，获取新客户。针对某个客户群体设计一种新的产品，以达到满足用户差异化需求，从而增加产品收入，提高市场占有率。东南亚最大的电信公司新加坡电信（ＳｉｎｇＴｅｌ）就公开表示，分析大数据的工作将作为公司未来最重要一项工作。

４ 信息通信企业大数据应用策略

４．１发展大数据存储分析和处理技术

伴随着大数据时代的来临，企业面临海量信息存储的需求，其迫切需要解决的问题就是提升数据存储能力，因为只有将数据妥善存储，才有可能进一步挖掘其潜在价值，而提升数据存储能力则给运营商提供了新的商业机遇。各大电信运营商利用自身优势相继推出建设数据中心建设和云计算中心的雄伟计划。

针对大数据的容量需求，存储虚拟化是目前为止提高容量效率最重要最有效的解决方案，它为缺乏这些能力的现有存储系统拓展了自动分层和精简配置等存储效率的工具。虚拟化支持隐藏细节和复杂性，最终使存储服务变得弹性、可扩展并且可管理。拥有了虚拟化存储，便可以将来自内部、外部和多厂商存储的结构化和非结构化数据的文件、内容和块存储等所有的数据类型，整合到一个单一的存储平台上。对于数据中心，虚拟化可以改变其动态容量，降低存储资源的消耗，减少管理开销。通过集成和托管的架构可以构建多种虚拟化技术，将多个物理数据中心虚拟地组合在一起，通过基础网络设施确保多个数据中心服务的分发、移动和恢复，甚至跨越不同的物理地域，大大增强系统的灵活性。

针对非结构化数据，存储在文件或内容之中，需要通过互联网协议来访问，而传统文件系统中的索引节点总数有限，文件系统不能满足目录或其它对象的庞大数量。而ＨＮＡＳ和ＨＣＰ为大数据文件和内容构建起了相应的架构。ＨＮＡＳ和ＨＣＰ使用基于对象的文件系统，这使它们能够扩展到ＰＢ级，可以支持数十亿的文件或对象。

大数据必须能够不受干扰地持续扩展并具有跨越不同时代技术的迁移能力。因为大数据太大而无法整体备份，应该只需要复制一次便可以恢复可用性，通过版本控制来跟踪变更，而不是为大数据发生的每一个变更备份整个大数据。数据迁移必须保持在最小范围，且在后台完成。旧的文件系统与块数据存储设备不支持动态扩展，为了使用新的存储容量，这些旧系统中的数据不得不从旧的块数据存储或文件系统中重新加载到新的存储容量中。目前一些专业的数据存储公司已经可以解决这些问题，如ＨＤＳ（日立数据存储）公司的产品均可以实现数据的后台移动和分层，也可以增加ＶＳＰ或ＨＵＳ块数据池、ＨＮＡＳ文件系统或ＨＣＰ租户的容量，可以自动在新的容量中调整数据，满足了大数据的扩展需要。

４．２通信产业明确应用目标

目前电信运营商面临的生存发展环境已发生剧烈变化，不仅市场饱和度提升导致彼此之间的同质竞争更加激烈，而且互联网等异质替代趋势日益凸显，以微信为代表的ＯＴＴ业务开始侵蚀传统电信运营商的业务领域，电信运营商感受到前所未有

的压力，转型发展成为电信运营商首要考虑的问题。大数据时代，数据流经过手机终端、运营商和应用提供商而最终进入人们视线，数据作为核心资产正深刻影响着所有企业发展模式。电信运营商和业务提供商的边界变得模糊不清，通过跨界多技术融合打造一体化的多元服务平台，充分合理利用自身大数据优势重构企业组织，顺应变革管理，把握企业发展命脉。电信运营商提供了互联网上所有的数据通道，这一先天优势而且拥有巨大的用户基数，如果能充分利用这些优势，电信运营商将成为大数据时代的最强势的竞争者。

Ｖｅｒｉｚｏｎ作为全球较早提供３Ｇ及４Ｇ网络的运营商之一，数据业务已经成为其收入的主要来源。其数据收入不仅有３Ｇ／４Ｇ用户使用移动互联网支付的流量费用，而且凭借庞大的用户数据，依靠大数据分析能力获取了大量的额外价值。通过深度挖掘用户数据，对潜在有价值用户进行了新款终端的精准营销，有效拉动了终端收入。联合第三方机构将用户数据加工提炼成了合法的有商业价值的统计型数据，面向政府机关以及企业等机构提供商业服务。

移动互联网已经是不可逆的产业大势，而微信等类似的ＯＴＴ业务也是移动互联网时代的必然产物。对于国内现阶段，电信运营商应该做的是，一方面调整流量经营策略，联合内容提供商开发定制化的ＯＴＴ流量套餐，并通过终端激励计划鼓励更多用户迁网，进而体现融合网络的规模成本效应；另一方面要积极部署数据挖掘分析业务，提取大数据流量中的高价值商业数据，增加商业收入。

４．３大数据隐私保护和法律问题

随着产生、存储、分析的数据量越来越大，如何保护敏感的数据或者应该保护隐私的数据，显得日益重要。数据被盗不仅暴露消费者个人信息和企业保密信息，甚至还会暴露国家安全秘密。鉴于严重的数据被盗事件有增无减，通过技术和政策工具解决数据安全问题将成为合理合法利用大数据的关键保障之一。目前大数据从数据生成、信息收集到数据的发布、分析和应用、数据版权，牵涉到各个层面，我国在法律法规上还存在一定的空白和欠缺，例如关于用户隐私、政府信息收集和管控、敏感数据管理、数据质量方面都需要进一步通过法律来进行规范和保障。

５ 结论

基于大数据的各种商业模式创新层出不穷，作为通信产业链核心地位的电信运营商，数据是其开展移动互联网业务的核心优势资产。创造出基于大数据的新业务模式是提高服务能力、增强产业地位的重要举措。电信运营商也应将大数据与自身的运营结合起来，尝试将大数据运用于网络建设和优化，以及业务拓展的用户精确营销等方面。电信运营商在大数据的时代拥有无可比拟的优势，挖掘大数据中的价值将带来丰厚的回报。