集群 standalone 安装部署
- 下载安装包
下载页面:https://archive.apache.org/dist/flink/flink-1.7.2/
我这里安装的 flink-1.7.2-bin-hadoop27-scala_2.11.tgz 版本。
- 修改配置文件 conf/flink-conf.yaml
修改如下两个参数:
#填你机器的host名
jobmanager.rpc.address: linux2
taskmanager.numberOfTaskSlots: 2
- 修改配置文件/conf/slave
linux2
linux3
linux4
- 将文件发送到其他两个机器
scp -r flink-1.7.2 linux3:/opt/lagou/servers/
scp -r flink-1.7.2 linux4:/opt/lagou/servers/
- 给每台机器配置环境变量
vim /etc/profile
export FLINK_HOME=/opt/lagou/servers/flink-1.7.2
export PATH=$PATH:$FLINK_HOME/bin
配置完成后使配置文件生效
source /etc/profile
- 进入 bin 目录,启动集群
./start-cluster.sh
启动完后我们可以输入网址http://linux2:8081/,验证
至此,安装完毕。
然后我们将程序放入集群环境测试。首先需要先打 jar 包,需要注意将依赖也打进去,打包插件如下:
<build>
<plugins>
<!-- 打jar插件 -->
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>2.4.3</version>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<filters>
<filter>
<artifact>*:*</artifact>
<excludes>
<exclude>META-INF/*.SF</exclude>
<exclude>META-INF/*.DSA</exclude>
<exclude>META-INF/*.RSA</exclude>
</excludes>
</filter>
</filters>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>
-
打包完成后,将 jar 包上传
-
选中上传的 jar 包,填入我们 main 方法的全类名,参数等等。然后点击 submit 提交任务。
-
我们可以先使用 nc 工具向程序输入数据 nc -lk 7000
查看日志的输出
Yarn 模式集群部署
- 配置 yarn-site.xml 文件,增加如下配置:
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>linux2:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>linux2:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>linux2:8031</value>
</property>
- 启动 hdfs
start-dfs.sh
- 启动 yarn
start-yarn.sh
- 进入到 flink 的 bin 目录
# -n 2代表2个task manager,tm 800代表内存800m,-s 1代表一个slots,-d代表后台运行
yarn-session.sh -n 2 -tm 800 -s 1 -d
- 在 yarn 上提交 flink 作业
方式一:
./flink run -c com.mmc.flink.WordCountStream /export/servers/flink/examples/batch/WordCount.jar
方式二:
# -m jobmanager的地址
# -yn 表示TaskManager的个数
./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 /export/servers/flink/examples/batch/WordCount.jar
- 关闭任务
# 找到yarn任务的id,通过命令杀掉
yarn application -kill application_1527077715040_0003
原文地址:http://www.cnblogs.com/javammc/p/16846245.html
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,请务用于商业用途!
3. 如果你也有好源码或者教程,可以到用户中心发布,分享有积分奖励和额外收入!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
7. 如遇到加密压缩包,默认解压密码为"gltf",如遇到无法解压的请联系管理员!
8. 因为资源和程序源码均为可复制品,所以不支持任何理由的退款兑现,请斟酌后支付下载
声明:如果标题没有注明"已测试"或者"测试可用"等字样的资源源码均未经过站长测试.特别注意没有标注的源码不保证任何可用性