博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hdfs老数据压缩备份的一些问题20120521
阅读量:6687 次
发布时间:2019-06-25

本文共 217 字,大约阅读时间需要 1 分钟。

要做的事情:将生产集群里的老数据压缩备份到另一个集群。

要解决的问题:1,选择哪种压缩格式?经过几番尝试发现bzip2不错,压缩比最高,而且在hdfs里面不用解压缩就能被mapreduce读取(bzip2支持分割);

         2,怎么把集群里的文件压缩?在哪里压缩好?有没有方法设置文件导入备份集群时就自动压缩成bzip2?

        最好写程序来压缩。 

       4,如何把文件从生产集群复制到备份集群中去?

  

转载地址:http://txhao.baihongyu.com/

你可能感兴趣的文章
repo简介
查看>>
转行啦,转几本.net的书。。。
查看>>
运算符 and or ont
查看>>
对于快速排序算法的递归栈深度的一点改进
查看>>
矩阵乘法2(codevs3147)
查看>>
如何修复Kindle频繁自动锁屏和解锁
查看>>
MongoDB在Windows下安装配置
查看>>
CAFFE安装(3):cuDNN v4
查看>>
hdu 1016 Prime Ring Problem
查看>>
Spring+SpringMVC+MyBatis深入学习及搭建(一)——MyBatis的基础知识
查看>>
如何把写好的文件放到提供的地址上提交代码
查看>>
Django 2.0 新特性
查看>>
Tornado Web 服务器
查看>>
精选7款绚丽的HTML5和jQuery图片动画特效
查看>>
【转载】桌面WPF中嵌入Unity3D(Standalone)引擎并实现socket通信
查看>>
Could not resolve archetype org.apache.maven.archetypes:maven-archetype-quickstart
查看>>
Eclipse 项目有红感叹号、小红叉
查看>>
如何使用Dev C++调试(debug)c程序
查看>>
[算法模板]高斯消元
查看>>
BZOJ2242 计算器
查看>>