1、Scala 安装
http://www.scala-lang.org/files/archive/scala-2.10.3.tgz
# tar xvzf scala-2.10.3.tgz -C /usr/lib/
环境变量配置
export SCALA_HOME=/usr/lib/scala-2.10.3
export PATH=$SCALA_HOME/bin:$PATH
# scala -v
2、Maven 安装
下载maven到服务器,解压并安装
# tar xvzf apache-maven-3.1.1.tgz -C /usr/lib/
环境变量配置
export MAVEN_HOME=/usr/lib/apache-maven-3.1.1
export PATH=$MAVEN_HOME/bin:$PATH
安装成功.
3、Spark 编译
在Spark官网上可以下载到CDH4版本的hadoop对应Spark包,但目前无法下载到CDH5版本的Spark.
所以去Cloudera网站去下载 http://archive.cloudera.com/cdh5/cdh/5/
spark-1.2.0-cdh5.3.2.tar.gz 编译完成的部署包
spark-1.2.0-cdh5.3.2-src.tar.gz 源码包
由于编译完成的包下载后,看到有问题,少文件。所以就用Maven重新编译源码,得出新的部署包,当然,如果下载的部署包不存在问题,那么就不需要重新编译了。
编译需要make-distribution.sh脚本进行编译,可以打开进行查看,如需要编译包含hive等
需要进行以上配置到make-distribution.sh中,详细了解这个脚本就知道了。
然后执行./make-distribution.sh开始进行编译。(也可以执行mvn -DskipTests clean package进行编译,但是它不会生成部署包)
经过漫长的过程,编译成功。(由于这个过程需要下载很多jar,下载很慢,我当时也奋战了很久才弄成功的)
4、Spark 部署
hadoop-2.5.0-cdh5.3.2
hadoop lzo压缩
zookeeper-3.4.5 (Spark HA需要用到)
以上安装就不介绍了,资料很多。
解压部署包:
修改配置文件
export JAVA_HOME=/usr/java/jdk1.7.0_25
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/home/hadoop/hadoop-2.5.0-cdh5.3.2
export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.5.0-cdh5.3.2/etc/hadoop
export SCALA_HOME=/usr/lib/scala-2.10.1
#spark on standalone
export SPARK_WORKER_MEMORY=24G
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_CORES=24
#spark on yarn
export SPARK_EXECUTOR_INSTANCES=2
export SPARK_EXECUTOR_CORES=12
export SPARK_EXECUTOR_MEMORY=2G
export SPARK_DRIVER_MEMORY=3G
export SPARK_YARN_APP_NAME="Spark ON YARN"
#context
export LD_LIBRARY_PATH=/usr/local/hadoop/lzo/lib
export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:/home/hadoop/hadoop-2.5.0-cdh5.3.2/lib/native/
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/home/hadoop/hadoop-2.5.0- cdh5.3.2/share/hadoop/common/hadoop-lzo-0.4.20-SNAPSHOT.jar
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=slave38:2181,slave54:2181,slave55:2181 -Dspark.deploy.zookeeper.dir=/spark"
export SPARK_JAVA_OPTS="-Dspark.cores.max=12 -Dspark.kryoserializer.buffer.mb=30 -verbose:gc -XX:-PrintGCDetails -XX:+PrintGCTimeStamps -XX:MaxPermSize=256m -Dspark.local.dir=/tmp "
添加节点列表 slaves
拷贝到各个机器后启动Spark
./start-all.sh
启动 STANDBY
./start-master.sh
相关推荐
自编译spark3适配CDH6.3.2
CDH6针对hive on spark的调优文档,这个是生产的实战经验
内容概要:由于cdh6.3.2的spark版本为2.4.0,并且spark-sql被阉割,现基于cdh6.3.2,scala2.12.0,java1.8,maven3.6.3,,对spark-3.2.2源码进行编译 应用:该资源可用于cdh6.3.2集群配置spark客户端,用于spark-sql
3离线安装Cloudera Manager5和CDH5 7 3.1创建本地yum软件源 7 3.2使用本地类库安装CM 10 3.3 设置cloudera manager使用的mysql数据库 10 3.4 使用本地类库安装CDH5 11 4 HDFS启用HA高可用性(基于Quorum-based ...
CDH安装SPark2的方法 可以同时安装CDH的默认spark以及最近的spark2
基于CDH的spark集群搭建,包括了httpd等服务的部署过程
CDH HA部署
CDH部署安装文档,纯手敲非复制,有截图,一看就懂
CDH5.4部署文档
利用flume将mysql的数据同步到kafak,flume是基于CDH6.2.0安装的。解决已下问题:java.lang.NoSuchMethodError: org.apache.flume.Context.getSubProperties(Ljava/lang/String;)Lcom/google/common/collect/...
cdh集群安装部署文档,目前使用的是自己的本地环境,伪分布式做的,生产环境可能需要新增一些步骤。
本人在大数据行业工作多年,该手册是通过实践写的部署手册,供大家参考。
CDH5.14安装文档(包含spark2和kafka的安装)
基于centos7, 安装CDH5.16.2的安装文档,jdk使用的是1.8,总共三个节点,根据部署步骤写的文档,已经部署成功!希望能够帮助到你
CDH安装部署文档,此文档是个人学习总结,有不足之处,希望大家可以提出
linux系统cdh集成组件部署安装,包括分部式系统环境的基础配置shell脚本
下载链接 官方下载链接: https://archive.cloudera.com/cdh6/6.2.0/parcels/ ...主机规划 sparkproject1 manager 8G 50GB sparkproject2 agent 4G 50GB sparkproject3 agent 4G 50GB ...【Hadoop部署】Hadoop环境部署1
Linux系统下,完全分布式CDH5(Hadoop)集群部署指南。
1、cdh6.3.2安装部署文档; 2、cdh6.3.2 cm6.3.1安装包
CDH部署和配置-详细教程;