如何理解CentOS7中安装LZO压缩程序-创新互联-成都创新互联网站建设

关于创新互联

多方位宣传企业产品与服务 突出企业形象

公司简介 公司的服务 荣誉资质 新闻动态 联系我们

如何理解CentOS7中安装LZO压缩程序-创新互联

如何理解CentOS7中安装LZO压缩程序,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

创新互联公司专注于中大型企业的成都网站设计、网站制作、外贸营销网站建设和网站改版、网站营销服务,追求商业策划与数据分析、创意艺术与技术开发的融合,累计客户上千,服务满意度达97%。帮助广大客户顺利对接上互联网浪潮,准确优选出符合自己需要的互联网运用,我们将一直专注品牌网站制作和互联网程序开发,在前进的路上,与客户一起成长!

一、准备工作:
yum -y install  lzo-devel  zlib-devel  gcc autoconf automake libtool

二、安装LZO
1、解压编译,并安装
cd /opt/software
wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.09.tar.gz
tar -zxvf lzo-2.09.tar.gz
cd lzo-2.09
./configure -enable-shared -prefix=/usr/local/hadoop/lzo/
make && make test && make install

2、复制文件
将/usr/local/hadoop/lzo/lib/* 复制到/usr/lib/和/usr/lib64/下
cp /usr/local/hadoop/lzo/lib/* /usr/lib/
cp /usr/local/hadoop/lzo/lib/* /usr/lib64/

3、修改配置环境变量(vi ~/.bash_profile),增加如下内容:
export PATH=/usr/local/hadoop/lzo/:$PATH

三、安装LZOP
1、下载并解压
cd /opt/software
wget http://www.lzop.org/download/lzop-1.04.tar.gz
tar -zxvf lzop-1.04.tar.gz

2、在编译前需要的环境变量(~/.bash_profile)中配置如下内容:
export C_INCLUDE_PATH=/usr/local/hadoop/lzo/include/
注:如不配置变量,在编译时会报:configure: error: LZO header files not found. Please check your installation or set the environment variable `CPPFLAGS'.

3、进入解压后目录,并编译安装
cd cd /opt/software/lzop-1.04
./configure -enable-shared -prefix=/usr/local/hadoop/lzop
make  && make install

4、将lzop复制到/usr/bin/
ln -s /usr/local/hadoop/lzop/bin/lzop /usr/bin/lzop

5、测试lzop
输入:lzop nohup.out
产生:lzo后缀的压缩文件: /home/hadoop/data/access_20131219.log.lzo即表示成功
注:在测试中可能遇到报错:lzop: error while loading shared libraries: liblzo2.so.2: cannot open shared object file: No such file or directory
    解决办法:增加环境变量(~/.bash_profile)export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64

四、安装Hadoop-LZO
注:编译时需要maven,自行配置好maven
1、下载介质:https://github.com/twitter/hadoop-lzo

2、解压并编译:
cd /opt/software/hadoop-lzo-release-0.4.19
mvn clean package -Dmaven.test.skip=true

3、编译完成执行如下命令:
tar -cBf --C target/native/Linux-amd64-64/lib . | tar -xBvf --C /app/hadoop-2.6.0-cdh6.7.0/lib/native
cp target/hadoop-lzo-0.4.19.jar /app/hadoop-2.6.0-cdh6.7.0/share/hadoop/common/

如果为集群环境,则接下来就是将/app/hadoop-2.6.0-cdh6.7.0/share/hadoop/common/hadoop-lzo-0.4.19.jar以及/app/hadoop-2.6.0-cdh6.7.0/lib/native/同步到其它所有的hadoop节点。
注意,要保证目录/app/hadoop-2.6.0-cdh6.7.0/lib/native/下的jar包,运行hadoop的用户都有执行权限。

五、产生index文件
cd /app/hadoop-2.6.0-cdh6.7.0/share/hadoop/common
hadoop jar hadoop-lzo-0.4.19.jar com.hadoop.compression.lzo.LzoIndexer /user/hive/warehouse/page_views_parquet1/page_views_parquet.lzo
注:lzo文件必须在hdfs文件系统中。
至此完成CentOS7中安装LZO压缩程序

关于如何理解CentOS7中安装LZO压缩程序问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注创新互联-成都网站建设公司行业资讯频道了解更多相关知识。


文章题目:如何理解CentOS7中安装LZO压缩程序-创新互联
分享网址:http://kswsj.cn/article/ihgig.html

其他资讯