您的位置 首页 未分类

Hue上的Oozie构建工作流和定时任务步骤

Oozie是什么? Oozie是一种Java Web应用程序,它运行在Java servlet容器——即Tom…

Oozie是什么?

Oozie是一种Java Web应用程序,它运行在Java servlet容器——即Tomcat——中,并使用数据库来存储以下内容:

    • 工作流定义
  • 当前运行的工作流实例,包括实例的状态和变量

    Hue是什么?

    Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口。

    Hue能干什么?

    1,访问HDFS和文件浏览 
    2,通过web调试和开发hive以及数据结果展示 
    3,查询solr和结果展示,报表生成 
    4,通过web调试和开发impala交互式SQL Query 
    5,spark调试和开发 
    6,Pig开发和调试 
    7,oozie任务的开发,监控,和工作流协调调度 
    8,Hbase数据查询和修改,数据展示 
    9,Hive的元数据(metastore)查询 
    10,MapReduce任务进度查看,日志追踪 
    11,创建和提交MapReduce,Streaming,Java job任务 
    12,Sqoop2的开发和调试 
    13,Zookeeper的浏览和编辑 
    14,数据库(MySQL,PostGres,SQlite,Oracle)的查询和展示

    一.提交oozie定时作业

    1、进入hue界面,点击workflows工作流,编辑workflows。

    image

2、点击create创建工作流。

image

3 .创建mr 任务

 

image

 

4 . 配置任务属性

 

image

/user/root/hadoopdemo-1.0-SNAPSHOT.jar

 

image

 

mapreduce.input.fileinputformat.inputdir  ${inputDir}

mapreduce.output.fileoutputformat.outputdir  ${outputDir}

 

 

image

 

5.保存

image

6 .创建coordinator 协调者

image

 

 

image

 

image

 

选择刚才创建的workflows,选择定时时间,可以选择每日,每周,每月等等,选择任务有效期,最后要给出之前参数的值,这里的值是代表前一天的日期,oozie有一些内置的常量。保存提交,OK,定时任务完成了。

 

image

 

7.查看我们的任务

image

 

结束

 

请关注-找知博客: http://zhaozhiyong.cn

资料链接

https://www.cnblogs.com/mr-ivan/p/6593550.html

http://blog.csdn.net/xiao_jun_0820/article/details/40375207

本文来自网络,不代表找知博客立场,转载请注明出处:http://zhaozhiyong.cn/875.html

作者: 于老大

关注微博
返回顶部
//