Spark相关版本依赖关系

Spark相关版本依赖关系
Spark相关版本依赖关系

Spark相关版本依赖关系

1. Scala版本:

2.11.x

2.10.x

2.9.2

2.9.1

2. Spark版本

1.5.1 对应 Scala

2.10.4

3. Kafka版本

最新稳定版本0.8.2.2

对应不同版本的Scala有不同的安装包:

?Scala 2.9.1 - kafka_2.9.1-0.8.2.2.tgz (asc, md5)

?Scala 2.9.2 - kafka_2.9.2-0.8.2.2.tgz (asc, md5)

?Scala 2.10 - kafka_2.10-0.8.2.2.tgz (asc, md5)

?Scala 2.11 - kafka_2.11-0.8.2.2.tgz (asc, md5)

4. Hadoop 版本

Hadoop 2.6.1 对应 Spark 1.5.1

5.总结最新稳定组合版本:Scala 2.10.4 + Spark 1.5.1 + Kafka 0.8.2.2 + Hadoop 2.

6.1

务必请按照此版本号来搭建环境,Scala的版本之间改动比较大,差一个版本号可能会在组合运行时产生大量ClassNotFound和NoSuchMethodError等错误,本人因此才坑无数,望阁下且行且珍惜:

相关主题
相关文档
最新文档