大数据时代的数据挖掘技术分析

龙源期刊网 https://www.360docs.net/doc/9b16634802.html,

大数据时代的数据挖掘技术分析

作者：黄泽波

来源：《农村经济与科技》2017年第12期

[摘要]随着科学技术的发展，大数据在人工智能领域起着越来越重要的作用，基于大数据平台的数据分析与挖掘已经成为各科研单位的研究热点。对大数据的发展、算法分析以及平台设计进行探究，对大数据平台的应用进行了展望，力求为智能化技术的发展提供创新的思路。

[关键词]大数据；人工智能；算法设计

[中图分类号]TP311.13 [文献标识码]A

1 大数据的发展概述

大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据包括海量的数据信息与高强度的数据处理能力，对于传统的数据处理系统来说，大数据处理有着相当多的优势，可以对于大型复杂的数据模块进行高效地分析，包括数据的收集、分析、共享与传输等。大数据可以采用预测的方式进行分析，在用户分析后进行数据提取，将其价值体现出来。

数据集分析可以发现新的联系与信息。科学家在电子科学工作中遇到了很多需要处理海量数据的问题，涉及气象学、基因组学、复杂物理模拟、生物学和环境研究等。

2 大数据技术中的算法分析

2.1 神经网络算法

神经网络系统是由众多的神经元可调的连接权值连接而成，具有大规模并行处理、分布式信息存储、良好的自组织自学习能力等特点。神经网络是一种计算方法，基于神经单元的大集合，解决由轴突连接的生物神经元的大群集的问题。每个神经单元与许多其他神经单元连接，并且可以对所连接的神经单元的激活状态影响中实施抑制。每个单独的神经单元可以具有将所有其输入的值组合在一起的求和功能。在每个连接和单元本身上可以存在阈值函数或限制函数，使得信号在传播到其他神经元之前必须超过极限。神经网络已被用于解决使用普通的基于规则的编程难以解决的各种各样的任务，如智能化学习。历史上，神经网络模型的使用向高级人工智能的方向移动，其特征在于包含在具有一些动力系统的认知模型的参数中的知识。

2.2 灰色关联度分析

灰色关联分析方法，是根据因素之间发展趋势的相似或相异程度，来进行归纳和评价，作为衡量因素间关联程度的一种方法。灰色关联度分析使用特定的信息概念。它定义没有信息为