编译spark1.6.0出现 Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.4.0:

论坛 期权论坛 脚本     
已经匿名di用户   2022-5-29 19:10   1830   0
spark 1.6 编译
1、下载spark1.6源码
2、安装maven
3、解压spark1.6 执行


export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
cd spark1.6.0
./make-distribution.sh --name hadoop2.6 --tgz -Psparkr -Phadoop-2.6.0 -Phive -Phive-thriftserver -Pyarn




出现错误:
Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.4.0:exec (sparkr-pkg) on project spark-core_2.10: Command execution failed. Process exited with an error: 127 (Exit value: 127) -> [Help 1]
解决办法:
./make-distribution.sh --name hadoop2.7 --tgz -PR -Phadoop-2.7.2 -Phive -Phive-thriftserver -Pyarn




如果想让spark支持tachyon
make-distribution.sh 文件
SPARK_TACHYON=true
分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:81
帖子:4969
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP