大数据技术概述
大数据技术在通信工程管理中的应用
I G I T C W技术 应用Technology Application98DIGITCW2023.091 大数据技术概述1.1 大数据技术的内涵“大数据（big data ）”也被称为“巨量资料”，实质上就是各种数据信息的综合体现，具有Volume （大量）、Velocity （高速）、Variety （多样）、Value （低价值密度）、Veracity （真实性）五大特点，已经成为IT 行业重要工具，能够满足各种数据应用需求[1]。
大数据技术是指用于处理、分析和管理大规模数据的技术及工具的统称，与其他现代技术相比，大数据技术不仅能够处理大量数据，还能够提高数据传输速率、优化数据结构，能够分析和处理海量数据，为各行业及场景提供数据支撑。
1.2 大数据技术类型大数据技术包括分布式存储和计算技术、数据采集和清洗技术、数据处理和分析技术、实时数据处理技术、数据安全及隐私技术（见图1）。
大数据技术在通信工程管理中的应用张 滔（重庆信科通信工程有限公司，重庆 400000）摘要：现阶段，我国已经提前进入了数字化时代，大数据技术等高科技技术被广泛应用于各大领域。
通信工程作为推动我国城市化建设及社会经济发展的主要原动力，也应用到了大数据技术，并逐渐走上数字化化发展道路。
大数据技术的应用不仅能够完善通信工程管理体系，还能够提高通信工程的数据信息处理能力及数据计算能力，实现对各种数据信息的高效管理，为城市化建设及通信领域发展等提供数据支持，从而推动整个社会进步及发展。
为此，本文对大数据技术在通信工程管理中的应用进行了深入探讨。
关键词：大数据技术；通信工程管理；应用分析doi：10.3969/J.ISSN.1672-7274.2023.09.033中图分类号：TN 913，TP 311.13 文献标志码：A 文章编码：1672-7274（2023）09-0098-03The Application of Big Data Technology in Communication Engineering ManagementZHANG Tao(Chongqing Xinke Communication Engineering Co., Ltd., Chongqing 400000, China)Abstract: At present, China has entered the era of digitalization and informatization in advance. High tech technologies such as big data technology and information technology are widely applied in various fields. Communication engineering, as the main driving force for promoting urbanization construction and socio-economic development in China, has also been applied to big data technology and is gradually embarking on the path of digitalization and informatization development. The application of big data technology can not only improve the management system of communication engineering, but also improve the data processing and calculation capabilities of communication engineering, achieve efficient management of various data information, provide data support for urbanization construction and communication field development, and promote the progress and development of the entire society. Therefore, this article delves into the application of big data technology in communication engineering management.Key words: big data technology; communication engineering management; application analysis通信作者简介：张 滔（1980-），男，汉族，贵州瓮安人，工程师，本科，研究方向为通信工程。
大数据技术专业认识
大数据技术专业认识
大数据技术是指利用计算机技术和算法处理和分析海量的数据以获取有价值的信息的一种技术。
随着互联网的发展和智能化的迅速增长，人们能够收集到大量的数据，但是如何从这些数据中提取出有用的信息成为一个挑战。
大数据技术专业主要涉及到以下几个方面：
1. 数据存储和管理：大数据需要大量的存储空间和高效的管理方式。
专业人员通过学习数据库技术和分布式存储系统，可以了解和应用不同的数据存储和管理技术。
2. 数据分析和挖掘：大数据分析是大数据技术的核心。
专业人员需要学习机器学习、数据挖掘和统计学等知识，掌握各种数据分析算法和工具，以完成对大数据的分析和挖掘工作，帮助企业进行决策和预测。
3. 大数据平台和工具：专业人员需要熟练使用大数据平台和工具，如Hadoop、Spark、Hive等，这些工具可以加速大数据处理的速度和效率。
4. 数据安全和隐私保护：在处理大数据时，数据安全和隐私保护是非常重要的。
专业人员需要了解数据安全和隐私保护的方法和技术，并能够设计和实施相应的安全措施。
大数据技术专业的就业前景非常广阔。
随着大数据技术在各行各业的应用越来越广泛，企业对于具备大数据技术专业知识的人才的需求也在逐渐增加。
大数据技术专业人员可以在互联网公司、金融机构、通信公司、电商平台等各个行业找到工作，从事数据分析、数据挖掘、数据工程师等职位。
总之，大数据技术专业是一个具有广阔前景的专业，通过学习相关知识和技能，能够掌握大数据的处理和分析能力，成为企业中非常有价值的人才。
大数据技术概述
大数据技术概述在当今信息化时代，大数据技术已经成为推动社会发展的重要力量。
通过收集、存储、分析和应用大量的数据，大数据技术能够为企业、政府和个人提供更准确、更高效的决策和创新。
一、大数据的定义和特点大数据是指规模庞大、结构复杂、价值密度低、无法用传统的数据处理工具和方法处理的各种数据资源。
与传统的数据处理方法相比，大数据技术具有以下几个特点：1. 规模庞大：大数据的规模巨大，以至于人类无法用传统的手段和工具来处理。
根据数据的规模不同，大数据可以分为PB级、EB级和ZB级。
2. 多样性：大数据涵盖了各种类型的数据，包括结构化数据、半结构化数据和非结构化数据。
结构化数据是指按照特定的格式组织和存储的数据，如数据库中的表格数据；半结构化数据是指具有一定结构的数据，但不符合严格的数据模型，如XML文件；非结构化数据是指没有特定结构的数据，如文本、图像和音频等。
3. 价值密度低：大数据中大部分数据以及产生的价值很低，但通过挖掘和分析这些数据，可以发现隐藏在其中的有价值信息。
4. 时效性：大数据的特征之一是快速变化。
大数据技术能够处理实时数据，帮助企业和个人迅速响应市场的变化，做出及时的决策。
二、大数据技术的应用领域大数据技术的应用范围广泛，涵盖了各个行业和领域。
以下是几个典型的应用领域：1. 金融行业：大数据技术可以帮助金融机构通过对庞大的金融数据进行分析，掌握市场动态，提高风险管理能力，预测金融市场的走向。
2. 医疗行业：通过分析大量的医疗数据，大数据技术可以帮助医生进行病例分析，提供更准确的诊断和治疗方案。
另外，大数据还可以帮助医疗机构进行资源调配和疾病预测。
3. 零售行业：通过分析顾客的购买记录、浏览行为和社交媒体数据，零售商可以更好地了解顾客的需求，提供个性化的产品和服务，提高销售额和客户满意度。
4. 制造业：大数据技术可以帮助制造企业进行生产线的优化和设备的故障预测，提高生产效率和质量。
5. 城市管理：大数据技术可以帮助城市对交通拥堵、环境污染、治安等问题进行分析和预测，提供科学决策支持。
大数据介绍ppt
大数据的价值与影响
01
价值
02
商业价值：通过大数据分析，企业可以更准确地了 解市场需求，优化产品和服务。
03
社会价值：政府和企业可以利用大数据提高公共服 务和决策效率。
大数据的价值与影响
• 个人价值：大数据也可以帮助个人更好地了解自己和他人 。
大数据的价值与影响
影响 经济影响：大数据产业已经成为全球经济的重要组成部分。
医疗资源优化
通过分析医疗资源的使用数据，优化医疗资源的 配置和调度，提高医疗效率和质量。
金融投资
1 2
市场预测
通过对历史市场数据的挖掘和分析，预测市场走 势和未来趋势，为投资决策提供支持。
风险管理
通过对金融数据的分析和建模，识别和评估潜在 的风险因素，为风险管理提供依据。
3
客户画像
通过对客户数据的挖掘和分析，了解客户的投资 偏好和风险承受能力，为个性化服务提供支持。
数据完整性
由于数据丢失、篡改等原因，数据完整性难以保证，需要采用数据 校验和恢复技术。
数据可信度
由于数据造假、欺骗等问题，数据可信度受到挑战，需要建立数据 信任机制。
数据处理与分析效率问题
数据存储与处理
大数据量巨大，需要高效的数据 存储和处理技术，如分布式存储 、并行计算等。
数据查询与分析
大数据查询和分析需要快速响应 和高效处理，需要采用实时计算 、流式计算等技术。
数据安全与隐私保护
数据安全
通过加密技术、访问控制和安全审计等手段，确保大数据的 安全性和完整性。
隐私保护
在处理大数据时，需要遵守隐私保护原则，保护个人隐私和 敏感信息，避免数据泄露和滥用。
03
大数据应用领域
大数据主要所学技术(简介)
大数据主要所学技术（简介）目录大数据主要所学技术简介：一：大数据技术生态体系二：各个技术栈简介一：大数据技术生态体系二：各个技术栈简介Hadoophadoop是一个用java实现的一个开源框架，是一种用于存储和分析大数据的软件平台，专为离线数据而设计的，不适用于提供实时计算。
对海量数据进行分布式计算。
Hadoop=HDFS（文件系统，数据存储相关技术）+ Mapreduce（数据处理）+ Yarn （运算资源调度系统）zookeeper对于大型分布式系统，它是一个可靠的协调系统。
提供功能:[本质是为客户保管数据，为客户提供数据监控服务]1. 统一命名服务：在分布式环境下，经常需要对应用/服务进行统一命名，便于识别。
例如：一个域名下可能有多个服务器，服务器不同，但域名一样。
2. 统一配置管理：把集群统一配置文件交给zookeeper3. 统一集群管理：分布式环境中，实时掌握集群每个节点状态，zookeeper可以实现监控节点状态的变化。
4. 服务器动态上下线：客户端能实时洞察到服务器上下线变化。
5. 软负载均衡：在zookeeper中记录服务器访问数，让访问数最小的服务器去处理最新的客户端请求Hivehive是由facebook开源用于解决海量结构化日志的数据统计，是一个基于hadoop的数据库工具，可以将结构化数据映射成一张数据表，并提供类SQL的查询功能，本质是将SQL语句转化为MapReduce程序。
用hive的目的就是避免去写MapReduce，减少开发人员学习成本。
FlumeFlume是hadoop生态圈中的一个组件，主要应用于实时数据的流处理，是一个高可用，高可靠，分布式的海量日志采集，聚合和传输的系统。
支持多路径流量，多管道接入流量，多管道接出流量。
含有三个组件：•source 【收集】•channel 【聚集，一个通道，类似数据缓冲池】•sink 【输出】基础架构：Kafka分布式的基于发布/订阅模式的消息队列。
大数据技术的概念
大数据技术的概念
大数据技术：
1、什么是大数据：
大数据指的是由一组不断增长的超大规模数据集构成，这些数据集通常由结构化和非结构化的数据以及跨组织、跨市场、跨设备的多体系
构成，并以海量、高速及高质量的处理能力来存储、管理、分析和发
现数据值。
2、大数据技术：
大数据技术是利用一系列技术、方法和工具来获取、存储、处理、分析大规模数据集的总称。
在大数据领域，数据存储和计算技术，数据
可视化技术，机器学习技术，统计学技术，信息检索技术，历史数据
库技术和分布式存储和计算技术，等都是属于大数据技术的范畴。
3、大数据技术的应用：
在企业中，大数据技术应用广泛，用来管理客户关系、分析用户行为和决策、开发机器学习算法、智能交互等。
此外，智能分析、机器学习、预测建模、云计算、搜索引擎技术和人工智能等技术也在大数据
技术领域受到推崇。
近年来，大数据在很多行业应用越来越广泛，如
金融、电信、政府、电子商务、医疗保健、旅游等，让数据驱动的数
据管理变得更灵活，更有效地把握和分析数据，获得重要的信息价值。
大数据技术具体指什么
大数据技术具体指什么
大数据技术是指大数据的应用技术，涵盖各类大数据平台、大数据指数体系等大数据应用技术。
大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据技术能够处理比较大的数据量。
其次，能对不同类型的数据进行处理。
大数据技术不仅仅对一些大量的、简单的数据能够进行处理，通能够处理一些复杂的数据，例如，文本数据、声音数据以及图像数据等等。
另外，大数据技术的应用具有密度低和价值大的效果。
一些零散的，各种类型的数据，如果不能在短时间内分析出来信息所表达的含义，那么可以利用大数据分析技术，将信息中潜藏的价值挖掘出来，以便于工作研究或者其他用途的使用，便于政务的便捷化和深层次化。
大数据技术介绍
大数据技术介绍大数据概述01大数据领域的关键技术02目录CONTENT 大数据行业状况与典型应用03大数据产业的未来发展趋势04PART ONE 大数据概述•大数据发展的背景•大数据的定义•大数据的特点•大数据面临的问题Customer在⽹络上消费272070美元（双⼗⼀呵呵⼀笑）Website571个新⽹站建立Google接受超过2000000次查询AppStoreAPP被下载47000次Flickr用户新增3125张照片User217名移动⽹络新用户诞⽣Wordpress 用户发表347篇⽂章Email使用者寄送204166667封邮件Instagram 用户分享3600张照片Facebook使用者上传700000条内容YouTube使用者上传48小时影片Twitter使用者发出超过100000条内容1分钟（1）数据爆炸•伴随着互联⽹、物联⽹、电⼦商务、社交媒体、现代物流、⽹络⾦融等⾏业的发展，全球数据总量正呈⼏何级数增长，过去⼏年时间产⽣的数据总量超过了⼈类历史上的数据总和，预计2020年全球数据总量将达到35.2ZB，⼈类将进⼊“泽它”（ZB）时代（1ZB=⼗万亿亿字节）淘宝每天产生的数据超过50TB百度拥有的数据总量超过100PBFacebook每天产生的数据超过100TB纽约证券交易所每天产生1TB 的交易数据Twitter每天产生7TB 的数据欧洲物理实验室大型例子对撞机每年产生15PB 的数据（2）感知化、物联化、智能化•感知化：指数据源的变化。
传感器、RFID标签、芯片、摄像头遍布世界的各个角落，物理世界中原本不能被感知的事物现在可以被感知，它们通过各种技术被接⼊了互联⽹世界。
•物联化：指的是数据传送⽅式的变化。
继⼈与⼈、⼈与机器的互联后，机器与机器之间的互联成为当下的发展趋势。
未来数据可能来自于自⾏车、电器、道路、自来⽔管，甚⾄是食物的包装盒。
•智能化：指的是数据使用⽅式的变化。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
路漫漫其悠远
基本的大数据处理技术
Hadoop MapReduce HDFS NoSql
路漫漫其悠远
Hadoop概述
Hadoop是一个开源的可运行于大规模集群上的分 布式并行编程框架，它实现了Map/Reduce 计算 模型。
u 这些处理单元可与相互通信和协作以快速、高效求 解大型复杂问题。
u 并行计算可以微秒为单位处理大规模数据，比如天 气预报，股票数据分析等。
路漫漫其悠远
大规模集群并行分布式计算的不足
在多台机器上对分布式数据进行分析会产生巨大的 性能开销，即使采用千兆比特或万兆比特带宽的网 络，随机读取速度和连续读取速度都会比内存慢几 个数量级。
得Hadoop可以部署在低廉的计算机集群中，同时 不限于某个操作系统。
路漫漫其悠远
Hadoop框架应用举例
求20个数据中的最大数，一般的编程方式把第一 个数据开始往后面一个个的比较，总是把更大的 数据记录下来，这样顺序比较下去，最后就得到 了最大的数据；
但是Hadoop的做法是把这20个数据分成4组，每 组5个数据，每组采用Map函数求出最大值，然后 后每组把求得的各自最大值交给Reduce，由 Reduce得出最后的最大值；
大数据技术概述
路漫漫其悠远
2020/3/26
大数据技术的概念与现状
2011年，中国互联网行业持有数据总量达到1.9EB （1EB字节相当于10亿GB）
2013年，我们生成这样规模的信息量只需10分钟 2015年，全球被创建和复制的数据总量将增长到
8.2EB以上 2020年，全球电子设备存储的数据将暴增30倍，达
路漫漫其悠远
Hadoop框架的体系结构
HDFS和MapReduce是Hadoop的两大核心。 HDFS在集群上实现了分布式文件系统， MapReduce 在集群上实现了分布式计算和任务 处理。
路漫漫其悠远
数据处理方式
流处理
流处理的处理模式将数据视为流，源源不断的数据 组成了数据流。当新的数据到来时就立刻处理并返 回所需的结果。
批处理
批处理是指用户将一批作业提交给处理系统后就不再干 预,由操作系统控制它们自动运行。
路漫漫其悠远
大数据处理要求
l 分布式计算
u 分布式计算是指运行在多个处理单元上的任务合作 求解一个规模很大的计算问题
到35ZB •从数据的生成到消耗，时间窗口非常小，可用于生
成决策的时间非常少
路漫漫其悠远
每秒钟发送290万封电子邮件 每分钟向youtube上传60个小时的视频 每天在微信上长传1亿条信息 淘宝网的日成交量是2000亿元
路漫漫其悠远
大数据包含大量的半结构化和非结构化数据
10%的结构化数据，存储在数据库中 90%的非结构化数据，它们与人类信息密切相关
Hadoop 能够对大量数据进行分布式处理，并且 是以一种可靠、高效、可伸缩的方式进行处理的
借助于Hadoop，程序员可以轻松地编写分布式并 行程序，将其运行于计算机集群上，完成海量数 据的计算。
路漫漫其悠远
2008年4月，Hadoop打破世界纪录，成为最快 排序1TB数据的系统。运行在一个910节点的群集 ，Hadoop在209秒内排序了1TB的数据，击败了 前一年的297秒冠军。
“大海”中数据的种类繁多，数以千计，而这些数据又包含着结构化、半结构 化以及非结构化的数据，并且半结构化和非结构化数据所占份额越来越大。
模式和数据的关系：
传统的数据库先有模式，然后才会产生数据。这就好比是先选好合适的“池塘 ”，然后才会向其中投放适合在该“池塘”环境生长的“鱼”。
大数据难以预先确定模式，模式只有在数据ቤተ መጻሕፍቲ ባይዱ现之后才能确定，且模式随着 数据量的增长处于不断的演变之中。
现在高速局域网技术使得网络读取速度比硬盘读取 要快很多。因此，将数据存储在其他节点上比存储 在硬盘上的性能要好，而且还可以在多个节点上并 行处理数据集
路漫漫其悠远
分布式系统可靠性也是一个大问题，一个拥有10个 节点的集群很容易出现节点故障。这可以通过在节 点间复制数据来解决，对数据进行复制，既可以提 高数据分析的效率，也可以通过冗余来应对节点故 障。当然，数据集越大，对数据副本的管理和维护 也越困难。
路漫漫其悠远
处理对象：
传统数据库中数据仅作为处理对象。而在大数据时 代，要将数据作为一种资源来辅助解决其他诸多领 域的问题。
处理工具：
捕捞“池塘”中的“鱼”，一种渔网或少数几种基本就 可以应对。但是在“大海”中，不可能存在一种渔网 能够捕获所有的鱼类
路漫漫其悠远
处理技术
大数据时代对数据处理的实时性、有效性提出了更 高要求，传统的常规技术手段根本无法应付。
11月，谷歌在报告中生成，它的MapReduce实 现执行1TB数据的排序只用了68秒。
2009年5月，Yahoo的团队使用Hadoop对1TB 的数据进行排序只花了62秒时间。
路漫漫其悠远
Hadoop的特点
Hadoop采用了分布式存储方式，提高了读写速度 ，并扩大了存储容量。
采用MapReduce来整合分布式文件系统上的数据 ，可保证分析和处理数据的高效。
非结构化数据类型多样
邮件、视频、微博 位置信息、链接信息 手机呼叫、网页点击
路漫漫其悠远
池塘捕鱼（数据库）vs.大海捕鱼（大数据）
数据规模：“池塘”的处理对象通常以MB 为基本单位，而“大海”则常常 以GB，甚至是TB、PB 为基本处理单位。
数据类型：
“池塘”中数据的种类单一，往往仅仅有一种或少数几种，这些数据又以结构 化数据为主。
大数据时代使用的新技术，主要包括分布式缓存、 分布式数据库、分布式文件系统、各种NoSQL分布 式存储方案、分布式计算系统等。
路漫漫其悠远
大数据处理的基本流程
大数据处理的基本流程为数据的抽取和集成、数 据分析以及数据解释。即在合适工具的辅助下， 对广泛异构的数据源进行抽取和集成，结果按照 一定的标准进行统一存储，并利用合适的数据分 析技术对存储的数据进行分析， 从中提取有益的 知识并利用恰当的方式将结果展现给终端用户。