软件要求
- Java 1.7.x 或者更高
- ssh sshd必须运行起来,因为flink用来管理远程的组件
如果集群不满足全部上述要求,必须进行更新,否则无法搭建flink集群.
如果已经配置了ssh免密和在所有的节点创建了一样的目录结构,那么就可以使用flink脚本来管理一切fink集群事务了。 安装过程如下:
环境信息
- 机器三台:IP是192.168.1.6/192.168.1.7/192.168.1.8
- 系统版本:Centos 7
- java版本:java version "1.8.0_162"
准备工作
- 安装scala:
wget https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.rpm
rpm -ivh scala-2.12.8.rpm
export SCALA_HOME=/usr/share/scala
export PATH=$PATH:$SCALA_HOME/bin
- 配置SSH免密登陆
生成ssh密码的命令,直接回车。
执行本地命令,将公钥分别传输到远程免密机器
免密登陆配置完毕.
- 下载Flink安装文件
安装文件下载地址:https://flink.apache.org/downloads.html
集群安装
- 解压安装包,flink-1.7.0-bin-scala_2.12.tgz
填写主节点的地址
填写master地址
填写slave地址
集群启动
- 执行命令 bin/start-cluster.sh 启动集群
到这里集群就已经搭建完毕了。
- 大小: 20.9 KB
- 大小: 28.2 KB
- 大小: 27.9 KB
- 大小: 58.1 KB
- 大小: 12.8 KB
- 大小: 18.9 KB
- 大小: 2.6 KB
- 大小: 3 KB
- 大小: 42.6 KB
分享到:
相关推荐
1.进行相应的解压操作之后,...4.进入bin目录执行 ./start-cluster.sh启动集群 (之前要做好ssh免密设置,可以省去输密码的麻烦) 5.查看Web UI 输入通过浏览器访问flink主节点的8081端口 http://192.168.198.129:8081
Flink standalone集群安装步骤-V1.6.1 一主两从的Flink集群安装配置步骤
流处理Flink
Flink_Standalone_Cluster
flink-shaded-hadoop-2-uber-2.7.5-7.0.zip 和 flink-1.8.1-bin-scala_2.11.tgz
flink 独立集群部署的dockerfile、dockercompose文件
Flink(Apache Flink)是一个开源的流处理和批处理框架,它被设计用于在大规模分布式环境中进行高性能、可靠且容错的数据处理。Flink提供了一种统一的编程模型,可以处理无界流数据和有界批量数据,并支持事件时间和...
start-cluster.bat(windows安装flink所需批处理文件)
5、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Job Manager 启动 6、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Task Manager 启动 7、Flink 源码解析 —— ...
在构建Flink standalone HA 模式的时候,需要将上述全部jar包导入到flink/lib目录下,这样即可在一定配置下,可以通过案例来实现HA模式的使用。
Flink1.7.2 安装文档, 配置如下:JDK1.8 + Scala2.12 + Hadoop2.7.2 + Flink1.7.2
1、内容概要:Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南(详细搭建步骤+实践过程问题总结)。 2、适合人群:大数据运维、大数据相关技术及组件初学者。 3、...
flink 集成 hive 所需要的依赖包,包括 antlr-runtime-3.5.2.jar flink-connector-hive_2.12-1.14.4.jar flink-shaded-hadoop-3-3.1.1.7.2.9.0-173-9.0.jar flink-sql-connector-hive-3.1.2_2.12-1.14.4.jar hive-...
flink开发环境的搭建和应用的配置部署及运行 详细, 阿里巴巴
本文档主要讲解Flink Standalone模式的集群的安装部署方法。此外,还包含了集群启停、任务提交、查看日志、执行自定义流处理程序等扩展主题。文档力求内容详实、步骤清晰,使读者阅后即可百分百掌握,不留疑问,轻松...
flink-1.7.0-bin-scala_2.11
flink搭配kafka,构建流式采集框架,提供了docker部署方式脚本和k8s多副本方式部署脚本
课程分享——Flink大数据集群资源监控项目实战课程,基于flink1.13版本,附PPT+软件+代码下载。 本课程为Flink大数据项目实战教程,以Flink项目实现为主线,重点讲解Flink项目相关的核心技术,包含Flink流式计算、...
设置运行一个Flink Master和多个Flink Worker的独立集群 在Scala,Java或Python中构建Flink应用程序以在Flink集群上运行 当前支持的版本: 用于Hadoop 3.2和Scala 2.11的Flink 1.12.2 适用于Hadoop 2.8和Scala ...
Flink开发环境搭建,从小白到高手,图文并茂