百度云做网站有优势吗,seo网络营销工程师,太平洋手机官方网站,佛山专业做网站公司有哪些简介#xff1a; Kettle是一款开源的ETL工具#xff0c;纯Java实现#xff0c;可以在Windows、Unix和Linux上运行#xff0c;提供图形化的操作界面#xff0c;可以通过拖拽控件的方式#xff0c;方便地定义数据传输的拓扑 。基本讲介绍基于Kettle的MaxCompute插件实现数据…简介 Kettle是一款开源的ETL工具纯Java实现可以在Windows、Unix和Linux上运行提供图形化的操作界面可以通过拖拽控件的方式方便地定义数据传输的拓扑 。基本讲介绍基于Kettle的MaxCompute插件实现数据上云。
Kettle版本8.2.0.0-342
MaxCompute JDBC driver版本3.2.8 Setup
下载并安装Kettle下载MaxCompute JDBC driver将MaxCompute JDBC driver置于Kettle安装目录下的lib子目录data-integration/lib下载并编译MaxCompute Kettle pluginhttps://github.com/aliyun/aliyun-maxcompute-data-collectors将编译后的MaxCompute Kettle plugin置于Kettle安装目录下的lib子目录data-integration/lib启动spoonJob
我们可以通过Kettle MaxCompute JDBC driver来实现对MaxCompute中任务的组织和执行。 首先需要执行以下操作
新建Job新建Database Connection JDBC连接串格式为jdbc:odps:?project JDBC driver class为com.aliyun.odps.jdbc.OdpsDriver Username为阿里云AccessKey Id Password为阿里云AccessKey Secret JDBC更多配置见https://help.aliyun.com/document_detail/161246.html之后可以根据业务需要通过SQL节点访问MaxCompute。下面我们以一个简单的ETL过程为例 Create table节点的配置如下 需要注意
这里Connection需要选择我们配置好的不要勾选Send SQL as single statementLoad from OSS节点配置如下 需要注意的点同Create table节点。有关更多Load的用法见https://help.aliyun.com/document_detail/157418.html
Processing节点配置如下 需要注意的点同Create table节点。
Transformation
我们可以通过MaxCompute Kettle plugin实现数据流出或流入MaxCompute。
首先新建Transformation之后新建Aliyun MaxCompute Input节点配置如下 在MaxCompute中新建一张空表schema与test_partition_table一致。
新建Aliyun MaxCompute Output节点配置如下 执行Transformation数据便从test_partition_table被下载后被上传至test_partition_table_2。 其他
设置MaxCompute flags
如图在执行DDL/DML/SQL之前可以通过set keyvalue;的方式配置flags。 Script模式
暂时无法支持
原文链接
本文为阿里云原创内容未经允许不得转载。
