湖州住房和城乡建设部网站,精品课程网站建设毕业设计,上海松江区网站建设公司,做的网站出现404简介#xff1a; 以测试集群版本为例#xff08;EMR-4.4.1#xff09;—— Flink SQL Client 集成 Hive 使用文档
作者#xff1a;林志成#xff0c;阿里云EMR产品团队技术支持#xff0c;拥有多年开源大数据经验
1、以测试集群版本为例#xff08;EMR-4.4.1#xff…简介 以测试集群版本为例EMR-4.4.1—— Flink SQL Client 集成 Hive 使用文档
作者林志成阿里云EMR产品团队技术支持拥有多年开源大数据经验
1、以测试集群版本为例EMR-4.4.1 2、执行命令如下
cp /opt/apps/ecm/service/flink/1.10-vvr-1.0.2-hadoop3.1/package/flink-1.10-vvr-1.0.2-hadoop3.1/conf/sql-client-defaults.yaml /etc/ecm/flink-conf/ 并做如下修改
3、将配置分发到各个节点
如果需要在别的集群也使用的话执行以下步骤以及所有拷贝jar的步骤在所有机器执行 scp /etc/ecm/flink-conf/sql-client-defaults.yaml rootemr-worker-1:/etc/ecm/flink-conf/ scp /etc/ecm/flink-conf/sql-client-defaults.yaml rootemr-worker-2:/etc/ecm/flink-conf/ ...这里参考后面因为还有几个jar需要拷贝
4、拷贝jar包
start-cluster.sh sql-client.sh embedded 会发现报错如下 原因是缺少jar包,执行下面操作不然会有一系列报错。 cd /usr/lib/flink-current/lib sudo cp /lib/hive-current/lib/hive-exec-3.1.2.jar . sudo wget https://repo1.maven.org/maven2/org/apache/flink/flink-connector-hive_2.11/1.10.2/flink-connector-hive_2.11-1.10.2.jar sudo wget https://repo1.maven.org/maven2/org/apache/flink/flink-hadoop-compatibility_2.11/1.10.2/flink-hadoop-compatibility_2.11-1.10.2.jar sudo wget https://repo1.maven.org/maven2/org/apache/thrift/libfb303/0.9.3/libfb303-0.9.3.jar
5、启动
start-cluster.sh sql-client.sh embedded 下面是空的因为新集群没有数据下面到hive去创建点数据 重新执行sql-client.sh embedded进入SQL client发现已经能看见了。 查询发现报错了。
6、排错
排查了下看8081端口都没有起来
最后发现是社区hive connector的兼容性问题之前的冲突是1.10.2导致的理论上vvr-1.10可以使用社区的hive-connector-1.10.x这个问题在1.11里面已经修复了。 所以我们换一下jar包。 mv flink-connector-hive_2.11-1.10.2.jar /tmp/ sudo wget https://repo1.maven.org/maven2/org/apache/flink/flink-connector-hive_2.11/1.10.1/flink-connector-hive_2.11-1.10.1.jar
7、重新执行
start-cluster.sh;sql-client.sh embedded 出现上图所示就成功了。
原文链接
本文为阿里云原创内容未经允许不得转载。
