信息管理系统网站开发教程,dede网站移动端怎么做,大宗贸易交易平台,walker wordpress一、安装模式
内嵌模式#xff1a;元数据保持在内嵌的Derby模式#xff0c;只允许一个会话连接 本地独立模式#xff1a;在本地安装Mysql#xff0c;把元数据放到Mysql内 远程模式#xff1a;元数据放置在远程的Mysql数据库
官方文档#xff1a; https://cwiki.apac…一、安装模式
内嵌模式元数据保持在内嵌的Derby模式只允许一个会话连接 本地独立模式在本地安装Mysql把元数据放到Mysql内 远程模式元数据放置在远程的Mysql数据库
官方文档 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 二、内嵌模式
1下载hive包
wget http://mirrors.cnnic.cn/apache/hive/hive-1.1.0/apache-hive-1.1.0-bin.tar.gz2 解压到工作目录
tar -xzvf hive-1.1.0.tar.gz3移动到特定目录
sudo mv apache-hive-1.1.0-bin /home/mk/software/hive-1.1.0
#创建快捷方式方便使用
ln -s /home/mk/hive-1.1.0 /home/mk/software/hive-1.1.0
5创建工作目录
hdfs dfs -mkdir /tmp
hdfs dfs -mkdir -p /user/hive/warehouse
hdfs dfs -chmod gw /user/hive/warehouse
hdfs dfs -chmod gw /tmp5构建工作环境
在 /etc/profile.d/hive.sh中增加以下内容 export JAVA_HOME/home/mk/jdk-1.8export Hadoop_HOME/home/mk/hadoop-2.6.0export HIVE_HOME/home/mk/hive-1.1.0export PATH$PATH:$HIVE_HOME/bin
# hive中jline已升级到jline2,而hadoop lib中的 jline还是jline0.9,需要配置如下export HADOOP_USER_CLASSPATH_FIRSTtrue当前shell窗口生效source /etc/profile或者重启系统
6配置Hive
cp $HIVE_HOME/conf/hive-default.xml $HIVE_HOME/conf/hive-site.xml
配置hive-site.xml
hive.metastore.warehouse.dirHDFS上的数据目录
hive.exec.scratchdirHDFS上的临时文件目录
hive.metastore.warehouse.dir默认值是/user/hive/warehouse hive.exec.scratchdir默认值是/tmp/hive-${user.name}
7改变 $HIVE_HOME的目录所有者
chown -R mk:mk $HIVE_HOME
8初始化元数据
$HIVE_HOME/bin/hive --service metastore
9运行hive
hive
hive10测试hive
hive create TABLE pokes( id INT, name string);
hive SHOW TABLES;
hive select * from pokes;
hive drop table pokes;三、独立模式
1安装Mysql并启动服务
1安装mysql服务端和客户端
Hive需要管理一些数据一般我们使用MySQL来存放
在线安装执行命令
sudo apt-get install mysql-server mysql-client
启动停止mysql服务
sudo start mysql
sudo stop mysql
修改了配置文件后需要重启 mysqld 才能使这些修改生效。 检查 mysqld 进程是否已经开启
pgrep mysqld
如果进程开启这个命令将会返回该进程的 id
2mysql账号赋权
在Mysql中为hive建立账号并授予足够的权限例如hive账号授予all privileges
mysql -u root -p
password:****
mysql
use mysql;
create database if not exists hive_metadata;
grant all privileges on hive_metadata.* to hive% identified by mk with grant option;
flush privileges;用上述账号登陆mysql然后创建数据库比如名叫hive_metadata用于存放hive的元数据
3设置MySQL远程访问可选
1.取消本地监听 正常情况下mysql占用的3306端口只是在IP 127.0.0.1上监听拒绝了其他IP的访问通过netstat可以查看到。 取消本地监听需要修改 my.cnf 文件
sudo vim /etc/mysql/my.cnf
//找到如下内容并注释 bind-address 127.0.0.1 2.重启 mysql
2安装Hive
下载安装包 http://apache.fayea.com/apache-mirror/hive/stable/apache-hive-1.1.0-bin.tar.gz 安装 1、上传包 上传hive包到/home/hadoop上 2、解压 tar–zxvf apache-hive-1.1.0-bin.tar.gz 3、重命名包 mv apache-hive-1.1.0-bin hive-1.1.0
3配置hive
1、 配置环境变量 执行命令
sudo gedit /etc/profile.d/hive.sh
注意CLASSPATHPATH在原有上增加hive包路径
#set hive environment
HIVE_HOME/home/mk/hive-1.1.0
PATH$HIVE_HOME/bin:$PATH
CLASSPATH$CLASSPATH:$HIVE_HOME/lib
export HIVE_HOME
export PATH
export CLASSPATH
使配置生效
source /etc/profile
2、 配置hive-env.sh 进入配置目录
cd $HIVE_HOME/conf
打开配置文件hive-env.sh
gedit hive-env.sh
进行配置
# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME/home/mk/hadoop-2.6.0
# Hive Configuration Directory can be controlled by:export HIVE_CONF_DIR/home/mk/hive-1.1.0/conf3、配置hive-site.xml 配置hive-site.xml文件指出使用本地Mysql数据库已经连接协议账号、口令等
创建配置文件 $cp hive-default.xml.template hive-site.xml 在同上的目录下 修改hive-site.xml
propertynamehive.metastore.warehouse.dir/namevalue/home/mk/hive/warehouse/valuedescriptionlocation of default database for the warehouse/description
/property
propertynamehive.exec.scratchdir/namevalue/home/mk/hive/scratchdir/valuedescriptionScratch space for Hive jobs/description
/property
propertynamehive.querylog.location/namevalue/home/mk/hive-1.1.0/logs/valuedescriptionLocation of Hive run time structured log file/description
/property
propertynamejavax.jdo.option.ConnectionURL/namevaluejdbc:mysql://haddop01:3306/hive_metadata?createDatabaseIfNotExisttrue/valuedescriptionJDBC connect string for a JDBC metastore/description
/property
propertynamejavax.jdo.option.ConnectionDriverName/namevaluecom.mysql.jdbc.Driver/valuedescriptionDriver class name for a JDBC metastore/description
/property
propertynamejavax.jdo.option.ConnectionUserName/namevalueroot/valuedescriptionusername to use against metastore database/description
/property
propertynamejavax.jdo.option.ConnectionPassword/namevalueroot123/valuedescriptionpassword to use against metastore database/description
/property
propertynamehive.exec.local.scratchdir/name !--拼凑目录-- value/home/mk/hive-1.1.0/local/${system:user.name}/valuedescriptionLocal scratch space for Hive jobs/description/property
propertynamehive.downloaded.resources.dir/namevalue/home/mk/hive-1.1.0/local/${hive.session.id}_resources/valuedescriptionTemporary local directory for added resources in theremote file system./description/property
propertynamehive.server2.logging.operation.log.location/namevalue/home/mk/hive-1.1.0/logs/operation_logs/valuedescriptionTop leveldirectory where operation logs are stored if logging functionality isenabled/description/property
在hive-1.1.0目录下创建local目录
执行命令
mkdir local
4、 配置log4j 在同上目录下 创建配置文件 cp hive-exec-log4j.properties.template hive-exec-log4j.properties cp hive-log4j.properties.template hive-log4j.properties 修改上面两个文件中的配置
hive.log.dir/home/mk/hive-1.1.0/logs
log4j.appender.EventCounterorg.apache.hadoop.log.metrics.EventCounter
注意如果没有logs目录就建立一个 执行命令
mkdir /home/mk/hive-1.1.0/logs
4添加Mysql驱动包 1、下载驱动包 本实验使用的mysql是mysql 5.6 版本配套的jdbc是mysql-connector-java-5.1.9-bin.jar 这个jar在网上下载就可以了一定要根据mysql版本选择配套的版本
2、添加驱动包 把驱动包放到 $HIVE_HOME/lib 目录下
3、修改hadoop的库文件 在$HADOOP_HOME/share/hadoop/yarn/lib下备份jline-0.9.94.jar 执行命令
mv jline-0.9.94.jar jline-0.9.94.jar.bak
Copy高版本的jline
cp $HIVE_HOME/lib/jline-2.12.jar $HADOOP_HOME/share/hadoop/yarn/lib
5启动hive
初始化元数据
$HIVE_HOME/bin/hive --service metastore
执行命令启动hive
hive
启动hive能进入shell表示安装成功
6测试hive
hive create TABLE pokes( id INT, name string);
hive SHOW TABLES;
hive select * from pokes;
hive drop table pokes;
