R语言与大数据
R语言与大数据
在数据分析方面，R拥有一系列连贯而又完整的数据分析中间工具，图形统计可以对图形直接进行分析和显示，并且有非常丰富的程序包，可以大大提高工作效率。R在以下三个方面有很大的优势：数据处理，统计和数据可视化。
Google主要使用R进行数据探索和构建模型原型，其主要流程为：1.使用其他工具提取数据2.将数据加载到R中3.使用R软件进行建模分析4.在生产环境中使用c或者python实现结果模型
在使用R的过程中，因为R的工作区是RAM，因此大小是受到限制的，主要有以下三个方法来解决这个问题：1.使用R的数据库连接功能(例如RMySQL)，对数据进行切片处理2.抽样处理数据3.在独立的服务器或者云计算环境下运行R
R可以与其他工具和语言进行交互，包括matlab，SAS，excel等，另外还提供了与Python和java的接口包(Rpy和RJava)。
R语言并行处理
R语言在2.14版本以后内置了parallel包，强化了R的并行计算能力。该包整合了之前比较成熟的snow包和multicore包，其中multicore包不能在windows 环境下运行。Parallel包可以很容易在计算集群上实施并行计算，在具有多个cpu 核心的单机上，也能发挥并行计算的功能。
Parallel包的思路是将输入数据进行分割、计算、整合结果，其中的并行计算是通过使用不同的cpu来运算。在parallel包中有两个核心函数parlapply(cl,x,Fun,…)和mclapply(x,Fun,…,mc.core s)，其中parLapply是针对函数lapply的优化，而mclapply在windows环境下不能使用。
例子：
1.不使用并行计算，直接使用lapply函数，对函数f=x+1做500万次，计算
时间
>fun<-function(x){return (x+1)}
>system.time({res<-lapply(1:5000000,fun)})
用户系统流逝
17.14 0.14 17.29
2.使用parallel包进行并行计算
采用4核进行并行计算：
>cl<-makeCluster(getOption("cl.cores",4))
>system.time({res<-parLapply(cl,1:5000000,fun)})
用户系统流逝
10.50 0.41 16.88
采用3核进行并行计算：
>cl<-makeCluster(getOption("cl.cores",3))
>system.time({res<-parLapply(cl,1:5000000,fun)})
用户系统流逝
2.78 0.11 11.08
采用2核进行计算：
>cl<-makeCluster(getOption("cl.cores",2))
>system.time({res<-parLapply(cl,1:5000000,fun)})
用户系统流逝
2.640.27 12.25
从上述例子可以看出，在处理大数据集问题时，并行计算可以加速计算过程。但是在R中并非使用的CPU核越多越好，在上例中，采用3核计算得到的结果最好，而2核次之，4核的计算和单核计算差别不大。
Hadoop与R语言
Hadoop让大数据的处理成为了可能，而R语言的强大之处在于在有Hadoop 以前，我们队大数据的处理都是取样本，假设检验，做回归等。可以看出，Hadoop 的优势在于全量数据分析，而R语言的重点是样本数据分析。而mahout同样可以做数据挖掘和机器学习，但是mahout是基于Hadoop框架的，其重点同样是解决大数据的计算问题，目前mahout已经支持的算法包括聚类算法、分类算法、LDA、bayes以及协同过滤等算法，其中大部分都是距离的算法，能够充分利用mapreduce的并行计算框架高效地完成计算任务。但是许多数据挖掘算法很难实现mapreduce并行化，而R语言也提供了mahout支持的许多算法，并且还支持大量的mahout不支持的算法，并且对小型数据集运算速度非常快。
目前，将R语言与大数据处理平台进行结合主要有两种方式。第一种方法是在Hadoop上将TB甚至PB级的数据利用mapreduce处理之后，将其数据容量缩
小到GB数量级，再加载到R中进行处理。第二种方法是直接利用支持Hadoop 的R包，在R中操作存放在HDFS中的数据，并利用R语言完成mapreduce算法，用来替代java的mapreduce实现，可以说RHadoop包赋予了R语言更强大的能力来处理高达TB乃至PB级的数据。
基于分布式的Hadoop在数据存储过程有一定的优势，然后直接运用R 语言的RJDBC包链接Hive传递SQL进行数据查询导入，得到的数据在R语言里面进行数据预处理和算法建模过程，再把分析模型的结果集导出。