在线制作网站 如何禁止蜘蛛收录网站,中上网站建设,网站添加google地图,仲恺企业网站建设1、安装背景#xff1b;
hive是基于hadoop的数据仓库软件#xff0c;部署运行在linux系统之上#xff0c;安装之前必须保证hadoop环境运行正常#xff0c;hive本身不是分布式软件#xff0c;它的分布式主要是借助hadoop实现#xff0c;存储是hdfs#xff0c;计算是mapr…
1、安装背景
hive是基于hadoop的数据仓库软件部署运行在linux系统之上安装之前必须保证hadoop环境运行正常hive本身不是分布式软件它的分布式主要是借助hadoop实现存储是hdfs计算是mapreduce。
需要同时安装apache-hive-3.1.3-bin.tar.gz和mysql-5.7.42-1.el7.x86_64.rpm-bundle.tar两个软件因为hive的建表元数据需要保存到数据库中共74张表一般用mysql。
2、配置mysql Hive 允许将元数据存储于本地或远程的外部数据库中这种设置可以支持 Hive 的多会话生产环 境在本案例中采用 MySQL 作为 Hive 的元数据存储库。 1先卸载centos7自带的mariadb数据库 因为mariadb5.5版本与hive3.x存在兼容性问题。
# 查找centos7中是否有自带的mariadb数据库
rpm -qa|grep mariadb# mariadb-libs-5.5.64-1.el7.x86_64#卸载
rpm -e mariadb-libs-5.5.64-1.el7.x86_64 --nodeps 2上传mysql-5.7.42-1.el7.x86_64.rpm-bundle.tar并解压 此处用“tar -zxvf mysql-5.7.42-1.el7.x86_64.rpm-bundle.tar -C /opt/server/mysql/”命令会解压失败。 应该使用“tar xvf mysql-5.7.42-1.el7.x86_64.rpm-bundle.tar -C /opt/server/mysql/”如下图 3安装mysql5.7;
①安装必要的依赖包
此处是在系统根目录安装其他位置应该也可以。
# 安装依赖
yum -y install libaio
yum -y install libncurses*
yum -y install perl perl-devel ②安装mysql
切换目录到“cd opt/server/mysql/”执行下面四条命令
# 安装mysql
rpm -ivh mysql-community-common-5.7.42-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.42-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.42-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.42-1.el7.x86_64.rpm 先安装net-tools依赖包
yum -y install net-tools.x86_64 再安装mysql-community-server.xxxxx.rpm
rpm -ivh mysql-community-server-5.7.42-1.el7.x86_64.rpm 4启动mysql;
# 启动mysql
systemctl start mysqld
#查看生成的临时root密码
cat /var/log/mysqld.log | grep password 2023-09-05T03:19:52.654819Z 1 [Note] A temporary password is generated for rootlocalhost: pRyujui?H9gD
5修改初始密码
# 登录mysql
mysql -u root -p
Enter password: #输入在日志中生成的临时密码# 更新root密码 设置为sql2023
set global validate_password_policy0;
set global validate_password_length1;
set passwordpassword(sql2023);
6远程授权
# 其中 *.*代表对所有表进行授权‘root’ 代表 root 用户‘%’ 代表所有的外部 IP‘sql2023’ 代表自己设置的用户密码。
grant all privileges on *.* to root % identified by sql2023;# 刷新
flush privileges; 退出mysql命令exit。 7相关命令
#mysql的启动和关闭 状态查看
systemctl stop mysqld
systemctl status mysqld
systemctl start mysqld#建议设置为开机自启动服务
systemctl enable mysqld#查看是否已经设置自启动成功
systemctl list-unit-files | grep mysqld 3、Hive安装和配置
1上传hive安装包apache-hive-3.1.3-bin.tar.gz和mysql_jdbc驱动包mysql-connector-java-5.1.38.jar 2解压hive安装包;
命令“tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /opt/server/” 3添加mysql_jdbc驱动到hive安装包lib目录下 4修改hive-env.sh加入hadoop安装路径
# 进入conf目录
[rootserver apache-hive-3.1.3-bin]# cd ./conf# 生成hive-env.sh文件
cp hive-env.sh.template hive-env.sh#编辑hive-env.sh信息
vim hive-env.sh # 加入hadoop路径HADOOP_HOME/opt/server/hadoop-3.3.1 5新建 hive-site.xml 文件内容如下主要是配置存放元数据的 MySQL 的地址、驱动、用户名和密码等信息
vim hive-site.xml ?xml version1.0?
?xml-stylesheet typetext/xsl hrefconfiguration.xsl?
configuration!-- 存储元数据mysql相关配置 /etc/hosts --propertynamejavax.jdo.option.ConnectionURL/namevalue jdbc:mysql://server:3306/hive?createDatabaseIfNotExisttrueamp;useSSLfalseamp;useUnicodetrueamp;characterEncodingUTF-8/value/propertypropertynamejavax.jdo.option.ConnectionDriverName/namevaluecom.mysql.jdbc.Driver/value/propertypropertynamejavax.jdo.option.ConnectionUserName/namevalueroot/value/propertypropertynamejavax.jdo.option.ConnectionPassword/namevaluesql2023/value/property
/configuration6hive2j及以上版本必须手动初始化元数据库
# 进入bin目录
cd /opt/server/apache-hive-3.1.2-bin/bin# 初始化元数据库命令
./schematool -dbType mysql -initSchema 7添加hive环境变量
#Hive
export HIVE_HOME/opt/server/apache-hive-3.1.3-bin
export PATH$PATH:${HIVE_HOME}/bin 刷新使其生效
source ./etc/profile 8启动hive测试功能
# 连接hive
hive# 创建数据库
create database test;
# 列出所有数据库
show databases;
# 切换数据库
use test;# 建表
create table tb1(id int,name varchar(64));
# 插入一条数据
insert into table tb1 values(1,wang);
# 查询表数据
select * from tb1; YARN有MapReduce程序执行; 退出hive命令exit;。
