MapReduce实验报告

硕士研究生实践报告

题目

作者姓名

作者学号

指导教师

学科专业

所在学院

提交日期

一题目要求

我们的项目背景是，可穿戴设备的实时数据分析。1.txt记录的是某一个用户的心跳周期数据，每一个数值表示一次心跳的周期，单位是秒。例如，0.8表示用户当时的心跳间隙是0.8秒。心跳间期按照顺序存储。

1.利用Hadoop的MapReduce框架编写程序，计算出总测量时间和平均心跳间期，即求和

与求平均。请写出程序，并在实验报告中简单描述你的思路。

2.探索Spark的Transformation中的mapPartition，写出示例程序，并思考何时会用到

mapPartition，为什么要用它？

3.探索Spark的Transformation中的flatMap，写出示例程序，并思考何时会用到它，为什

么要用到它。

4.（选做）SD1和SD2是表征心率变异性的一种指标。结合发给你们的论文，用Java或

者Scala实现SD1和SD2的计算（不用考虑并行化，普通的Java或Scala程序即可）。（选做）假设我们同时监控100个用户的心率，是否能够利用Spark的RDD的特性，并行地计算SD1和SD2?（提示:把每一个用户的心率数据作为RDD里面的一个元素，RDD中不同的元素表示不同用户的心率数据，利用map对每一个用户的心率数据进行并行分析）。请描述设计思路，并尽可能实现一个多用户心率监控的计算程序。

二题目实现

第一题：

本题就是利用Hadoop的MapReduce框架编写程序，计算出总测量时间和平均心跳间期，即求和与求平均，程序代码如下：

package ;

import ;

import ;

import ;

import ;

public class InfoBean implements Writable{

private double sumHeartRate;

private double avgHeartRate;

public double getSumHeartRate() {

return sumHeartRate;

}

@Override

public String toString() {

return

"sumHeartRate\t"+this.sumHeartRate+"\tavgHeartRate\t"+this.avg HeartRate;

}

public void setSumHeartRate(double sumHeartRate) { this.sumHeartRate = sumHeartRate;

}

public double getAvgHeartRate() {

return avgHeartRate;

}

public void setAvgHeartRate(double avgHeartRate) { this.avgHeartRate = avgHeartRate;

}

public void set(double sumHeartRate, double avgHeartRate) { this.sumHeartRate = sumHeartRate;

this.avgHeartRate = avgHeartRate;

}

public void readFields(DataInput in) throws IOException { this.sumHeartRate = in.readDouble();

this.avgHeartRate = in.readDouble();

}

public void write(DataOutput out) throws IOException {

out.writeDouble(this.sumHeartRate);

out.writeDouble(this.avgHeartRate);

}

}

package ;

import ;

import ;

import ;

import ;

import ;

import ;

import ;

import ;

import ;