DolphinScheduler
功能介绍
文档:https://dolphinscheduler.apache.org/en-us/docs/latest/user_doc/guide/metrics/metrics.html
租户:worker.properties worker.tentant.auto.create=true /
/自动创建用户,启动worker必须有免密运行sudo
告警租管理:包含多种告警实例
告警实例:配置多种告警消息,微信,邮件等
worker分组管理:同一个worker可以属于多个分组的
环境管理:export hadoop_home=/opt/hadoop/......环境变量信息
可以配置worker组、选择一个合适环境的组
令牌认证:通过API访问DolphinScheduler的时候
工作流
工作流定义:定义工作流。工作流实例:工作流历史运行的记录。
任务实例:一个工作流里面有多个任务实例,可以看日志。
工作流定义
优先级:起作用的时候是worker资源不足的时候。
资源:上传的资源中心的作用
工作流级别超时告警和单个节点的超时告警
运行的时候:必须先上线。下线状态不能运行,上线状态不能编辑。
失败策略:继续,失败。节点失败了,并行任务应该是继续还是失败。
参数
本地参数:针对单个任务有效的参数
全局参数:针对整个工作流有效的参数
自定义参数:dt(参数名称) IN(给当前任务流传递参数) OUT(给下游任务流传递参数)
使用自定义参数 ${dt} IN VARCHAR ${YYYYMMDD} 工作流保存的时候可以设置全局变量
给下游传递传输:(仅支持:Shell、SQL、Procedure)
上一个节点 echo '${setValue(bb=20200601)}' 自定义参数 bb OUT
参数优先级:本地参数>上游任务传递参数>全局参数 上有参数相同的时候:下游优先使用非空+完成时间最早的参数
内置参数:${system.biz.date}定时时间前一天yyyyMMdd ${system.biz.curdate}定时时间yyyyMMdd
${system.datetime}定时时间yyyyMMddHHmmss
日期格式:$[yyyyMMddHHmmss]分解和组合 $[add_mouths(yyyyMMddHHmmss,-3)]前三月
$[yyyyMMddHHmmss-5]前五天 $[HHmmss-5/24]前五个小时 $[HHmmss-5/24/60]前五分钟
文件资源
默认会放在hdfs上,资源中心创建资源以后,就可以在固定节点上使用该资源
直接使用资源的名称就可以。资源叫data.sh 代码里面就直接 sh data.sh 选中资源即可
#
原文地址:http://www.cnblogs.com/wuxiaolong4/p/16809782.html
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,请务用于商业用途!
3. 如果你也有好源码或者教程,可以到用户中心发布,分享有积分奖励和额外收入!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
7. 如遇到加密压缩包,默认解压密码为"gltf",如遇到无法解压的请联系管理员!
8. 因为资源和程序源码均为可复制品,所以不支持任何理由的退款兑现,请斟酌后支付下载
声明:如果标题没有注明"已测试"或者"测试可用"等字样的资源源码均未经过站长测试.特别注意没有标注的源码不保证任何可用性