Hive 1.2.1、Spark 與 Sqoop 整合安裝完整指南

前言

本指南詳細記錄了在 Hadoop 2.7.1 叢集環境下，部署 Apache Hive 1.2.1 並整合 Spark 及 Sqoop 的完整流程。安裝架構採用 Hive Server2 模式，元資料儲存於 MySQL 5.7.10，並透過 ZooKeeper 實現高可用。參考官方 GettingStarted 文件與《Hive 0.12.0 安裝指南》編寫，適合生產環境部署參考。

環境約定與規劃

• Hadoop 安裝路徑：/data/hadoop/current
• Hive 安裝路徑：/data/hadoop/hive（軟連結指向 /data/hadoop/hive-1.2.1-bin）
• MySQL 安裝路徑：/data/mysql（二進制包安裝於 /usr/local/mysql，資料目錄軟連結至 /data/mysql/data）
• ZooKeeper 節點：10.12.154.77、10.12.154.78、10.12.154.79
• Hive 服務節點：172.25.40.171
• MySQL 節點：172.25.39.166

關鍵服務端口

MySQL 安裝與元資料庫建立

4.1 MySQL 5.7.10 二進制安裝

下載 Linux-Generic (glibc 2.5) x86_64 壓縮包，解壓至 /usr/local 並建立軟連結。建議以 root 身份安裝，避免權限問題。關鍵步驟如下：

# 建立 mysql 使用者與群組
groupadd mysql
useradd -r -g mysql -s /bin/false mysql

# 解壓與軟連結
cd /usr/local
tar xzf mysql-5.7.10-linux-glibc2.5-x86_64.tar.gz
ln -s mysql-5.7.10-linux-glibc2.5-x86_64 mysql

# 資料目錄規劃（採用軟連結方式）
mkdir -p /data/mysql/data
ln -s /data/mysql/data /usr/local/mysql/data
chmod 770 /data/mysql/data
chown -R mysql:mysql /data/mysql/data
chown -R mysql:mysql /usr/local/mysql

# 初始化資料庫（記住生成的臨時 root 密碼）
bin/mysqld --initialize --user=mysql --explicit_defaults_for_timestamp
bin/mysql_ssl_rsa_setup

# 權限修正與啟動
chown -R root /usr/local/mysql
chown -R mysql /data/mysql/data
bin/mysqld_safe --user=mysql &

# 驗證與設定開機自啟
netstat -lpnt | grep 3306
cp support-files/mysql.server /etc/init.d/mysql.server

CREATE DATABASE IF NOT EXISTS hive;
CREATE USER 'hive' IDENTIFIED BY 'hive2016';
GRANT ALL ON hive.* TO 'hive'@'localhost' IDENTIFIED BY 'hive2016';
GRANT ALL ON hive.* TO 'hive'@'172.25.39.166' IDENTIFIED BY 'hive2016';
GRANT ALL ON hive.* TO 'hive'@'172.25.40.171' IDENTIFIED BY 'hive2016';

cd /data
tar xzf apache-hive-1.2.1-bin.tar.gz
mv apache-hive-1.2.1-bin hive-1.2.1
ln -s hive-1.2.1 hive

export HIVE_HOME=/data/hadoop/hive
export PATH=$HIVE_HOME/bin:$PATH

cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml
cp hive-log4j.properties.template hive-log4j.properties
cp hive-exec-log4j.properties.template hive-exec-log4j.properties

HADOOP_HOME=/data/hadoop/current

# hive-log4j.properties
hive.log.dir=/data/hadoop/hive/logs

# hive-exec-log4j.properties
hive.log.dir=/data/hadoop/hive/logs/exec

CREATE TABLE pokes(foo INT, bar STRING);
CREATE TABLE invites(foo INT, bar STRING) PARTITIONED BY (ds STRING);
SHOW TABLES;
DESCRIBE invites;
LOAD DATA LOCAL INPATH '../examples/files/kv2.txt' OVERWRITE INTO TABLE invites PARTITION (ds='2014');
SELECT * FROM invites LIMIT 2;

export HADOOP_COMMON_HOME=/data/hadoop
export HADOOP_MAPRED_HOME=/data/hadoop/share/hadoop/common
export HBASE_HOME=/data/hbase
export HIVE_HOME=/data/hive
export ZOOCFGDIR=/data/zookeeper/conf

# 列出資料庫
./sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username zhangsan --password zhangsan2016

# 依 MySQL 表建立 Hive 表（支援分區）
./sqoop create-hive-table --connect jdbc:mysql://127.0.0.1:3306/test --username zhangsan --password zhangsan2016 --table t_test --hive-table t_test_2016 --hive-partition-key dt --hive-partition-value 20160101

# 匯入資料至 Hive（建議加 --direct 使用 mysqldump 加速）
./sqoop import --connect jdbc:mysql://127.0.0.1:3306/test --username zhangsan --password 'zhangsan2016' --table t_test --hive-import -m 6 --hive-table t_test_2016 --direct