目录结构 hadoop集群(cdh4)实践之 (0) 前言 hadoop集群(cdh4)实践之 (1) hadoop(hdfs)搭建 hadoop集群(cdh4)实践之 (2) hbasezookeeper搭建 hadoop集群(cdh4)实践之 (3) hive搭建 hadoop集群(chd4)实践之 (4) oozie搭建 hadoop集群(chd4)实践之 (5) sqoop安
目录结构
hadoop集群(cdh4)实践之 (0) 前言
hadoop集群(cdh4)实践之 (1) hadoop(hdfs)搭建
hadoop集群(cdh4)实践之 (2) hbase&zookeeper搭建
hadoop集群(cdh4)实践之 (3) hive搭建
hadoop集群(chd4)实践之 (4) oozie搭建
hadoop集群(chd4)实践之 (5) sqoop安装
本文内容
hadoop集群(chd4)实践之 (5) sqoop安装
参考资料
http://www.cloudera.com/content/cloudera-content/cloudera-docs/cdh4/latest/cdh4-installation-guide/cdh4-installation-guide.html
环境准备
os: centos 6.4 x86_64
servers:
hadoop-master: 172.17.20.230 内存10g
- namenode
- hbase-master
hadoop-secondary: 172.17.20.234 内存10g
- secondarybackupnamenode,jobtracker
- hive-server,hive-metastore
- oozie
- sqoop
hadoop-node-1: 172.17.20.231 内存10g sudo yum install hbase-regionserver
- datanode,tasktracker
- hbase-regionserver,zookeeper-server
hadoop-node-2: 172.17.20.232 内存10g
- datanode,tasktracker
- hbase-regionserver,zookeeper-server
hadoop-node-3: 172.17.20.233 内存10g
- datanode,tasktracker
- hbase-regionserver,zookeeper-server
对以上角色做一些简单的介绍：
namenode - 整个hdfs的命名空间管理服务
secondarynamenode - 可以看做是namenode的冗余服务
jobtracker - 并行计算的job管理服务
datanode - hdfs的节点服务
tasktracker - 并行计算的job执行服务
hbase-master - hbase的管理服务
hbase-regionserver - 对client端插入，删除，查询数据等提供服务
zookeeper-server - zookeeper协作与配置管理服务
hive-server - hive的管理服务
hive-metastore - hive的元存储，用于对元数据进行类型检查与语法分析
oozie - oozie是一种java web应用程序，用于工作流的定义和管理
sqoop - sqoop是一个转换工具，用于在关系型数据库与hdfs之间进行数据转换
本文定义的规范，避免在配置多台服务器上产生理解上的混乱：
以下操作都只需要在 sqoop 所在主机，即 hadoop-secondary 上执行。
1. 安装前的准备
hadoop集群(chd4)实践之 (4) oozie搭建
2. 安装sqoop
$ sudo yum install sqoop sqoop-metastore
3. 启动sqoop metastore
$ sudo service sqoop-metastore start
4. 配置jdbc驱动
mysql jdbc driver:
$ sudo yum install mysql-connector-java
$ sudo ln -s /usr/share/java/mysql-connector-java.jar /usr/lib/sqoop/lib/mysql-connector-java.jar
microsoft sql server jdbc driver:
$ wget http://download.microsoft.com/download/0/2/a/02aae597-3865-456c-ae7f-613f99f850a8/sqljdbc_4.0.2206.100_enu.tar.gz
$ tar xzvf sqljdbc_4.0.2206.100_enu.tar.gz
$ sudo cp sqljdbc_4.0/enu/sqljdbc4.jar /usr/lib/sqoop/lib/
5. 配置hcat_home
$ sudo vim /etc/profile.d/sqoop.sh
export hcat_home=/var/lib/sqoop
$ source /etc/profile
6. 至此，sqoop的安装就已经完成。
.syntaxhighlighter{padding-top:20px;padding-bottom:20px;}【说明】：本文章由站长整理发布，文章内容不代表本站观点，如文中有侵权行为，请与本站客服联系(QQ:)！