Spark相关版本依赖关系
Spark相关版本依赖关系
1. Scala版本:
2.11.x
2.10.x
2.9.2
2.9.1
2. Spark版本
1.5.1 对应 Scala
2.10.4
3. Kafka版本
最新稳定版本0.8.2.2
对应不同版本的Scala有不同的安装包:
?Scala 2.9.1 - kafka_2.9.1-0.8.2.2.tgz (asc, md5)
?Scala 2.9.2 - kafka_2.9.2-0.8.2.2.tgz (asc, md5)
?Scala 2.10 - kafka_2.10-0.8.2.2.tgz (asc, md5)
?Scala 2.11 - kafka_2.11-0.8.2.2.tgz (asc, md5)
4. Hadoop 版本
Hadoop 2.6.1 对应 Spark 1.5.1
5.总结最新稳定组合版本:Scala 2.10.4 + Spark 1.5.1 + Kafka 0.8.2.2 + Hadoop 2.
6.1
务必请按照此版本号来搭建环境,Scala的版本之间改动比较大,差一个版本号可能会在组合运行时产生大量ClassNotFound和NoSuchMethodError等错误,本人因此才坑无数,望阁下且行且珍惜:
相关主题