smarthhl
- 浏览: 27637 次
-
最新评论
文章列表
Hadoop 2.6安装文档
版本说明：hadoop 2.6 linux-64位
Zookeeper3.4.6
jdk 1.7.0_75
1、Ssh无密码
ssh-keygen
vimauthorized_keys
把每台机子上的id_rsa.pub内容拷贝到authorized_keys
Scp到其它机器上
2、jdk安装
解压目录
jdk环境变量
3、Zookeeper安装
详见zookeeper安装文档
4、必要目录创建
NameNode数据目录 /data/nn
DataNode数据目录 /data/dn
JournalNo ...
- 2015-06-17 16:13
- 浏览 360
- 评论(0)
集群配置
准备工作
1、 Iptables
#chkconfig iptables –list
#chkconfig iptables –level 3456off
#service iptables stop
2、 Initab
#vim /etc/inittab
id:3
3、 Ntpd
#chkconfig ntpd –list
#chkconfig ntpd –level 23456off
#service iptables start
4、 Sudo hadoop（添加hadoop用户，赋于sudo权限）
#useradd ...
- 2015-06-17 16:03
- 浏览 351
- 评论(0)
一、Split触发条件
1、 有任一一个Hfile的大小超过默认值10G时，都会进行split
2、 达到这个值不在拆分，默认为int_max，不进行拆分
3、compaction时，如果compact的store的大小超过了，则进行split
4、flush之前会检测区域中HStoreFile数目是否超过hbase.hstore.blockingStoreFiles，如果超过且没有等待超时会调用CompactSplitThread.requestSplit(HRegion)
5、flush之后会调用HRegion.checkSp ...
- 2014-09-10 10:30
- 浏览 2041
- 评论(0)
HBase的Snapshots功能介绍
hbase的snapshot功能还是挺有用的，本文翻译自cloudera的一篇博客，希望对想了解snapshot的朋友有点作用，如果翻译得不好的地方，请查看原文Introduction
to Apache HBase Snapshots 对照。
在之前，备份或者拷贝一个表只能用copy/export表，或者disable表后，从hdfs中拷贝出所有hfile。copy/export表用的是MapReduce来scan和copy表，这会对Region Server产生直接的性能影响，而用disable后拷贝文件则是直接不能访 ...
- 2014-08-28 17:16
- 浏览 500
- 评论(0)
Java 向Hbase表插入数据报（org.apache.hadoop.hbase.client.HTablePool$PooledHTable cannot be cast to org.apac）
org.apache.hadoop.hbase.client.HTablePool$PooledHTable cannot be cast to org.apac
代码：
//1.create HTablePool
HTablePool hp=new HTablePool(con, 1000);
//2.get HTable from HTablepool
HTable ht=(HTable)hp.getTable(tName);
原因：如今应用的api版本中pool.getTable返回的类型是HTableInterface
，无法强转为HTable
...
- 2014-08-25 11:42
- 浏览 748
- 评论(0)
1、如果你装了带有zookeeper的Hbase版本，先把hbase-env.sh export HBASE_MANAGES_ZK=false 设置为false 见下图
2、下载安装zookeeper（地址:http://www.apache.org/dyn/closer.cgi/zookeeper/）
3、解压包到指定的目录（例如：/usr/zookeeper）tar XXX.tar.gz
4、配置zookeeper 输出日志
在zookeeper的vi bin/zkEnv.sh，找到ZOO_LOG_DIR="." 改为ZOO_LOG_DIR="/ ...
- 2014-08-22 15:46
- 浏览 447
- 评论(0)
zookeeper原理（转）
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookeeper的目的就在于此。本文简单分析zookeeper的工作原理，对于如何使用zookeeper不是本文讨论的重点。
1 Zookeeper的基 ...
- 2014-08-19 15:48
- 浏览 475
- 评论(0)
Hbase 配置问题（ERROR: org.apache.hadoop.hbase.PleaseHoldException: org.apache.hadoop.hbase.PleaseHoldEx）
ERROR: org.apache.hadoop.hbase.PleaseHoldException: org.apache.hadoop.hbase.PleaseHoldException: Master is initiling
1、首先查看日志：hbase-hbase-master-master.log
2、发现zookeeper.clientcnxn有问题，所以为查看各节点的日志
３、发现连接的是本地的zookeeper（127.0.0.1），这时发现本地没有zookeeper，所以怀疑，hbase-site.xml没有配置好，查看它，发现没有“hbase.zookeepe ...
- 2014-08-19 09:57
- 浏览 708
- 评论(0)
Error：name node is in safe mode
解决方法：hadoop dfsadmin -safemode leave（见图）
- 2014-08-11 20:00
- 浏览 538
- 评论(0)
一、Hadoop搭建准备（centOs6.5 且每个系统都要有同一个用户，如：hadoop）
1、IP的配置
包括Master和Slaves的IP配置，之间能够相互ping通；
例如：
192.168.1.2 Master
192.168.1.3 Slave-1
192.168.1.4 Slave-2
192.168.1.5 Slave-3
- 2014-08-11 18:40
- 浏览 430
- 评论(0)
WIN7-32位 配置数据源地址：
C:\Windows\System32\odbcad32.exe
WIN7-64位 配置数据源地址：
C:\Windows\SysWOW64\ odbcad32.exe
第一步：
第二步
第三步
第四步
- 2014-06-21 17:28
- 浏览 1053
- 评论(0)
转载至JS过滤BackSpace
我们在真实的项目开发中经常会使用JS对键盘上的一些按键进行禁用，常见的比如说退格键（backspace/后退键），我在一个项目中就遇到过在页面编辑的时候禁用掉退格键，因为退格键会发生页面后退，这样编辑的内容都会失去了，非常的恶心人。ok，废话少说，直接上代码。
<script type="text/javascript">
//处理键盘事件 禁止后退键（Backspace）密码或单行、多行文本框除外
function forbidBackSpace(e) {
...
- 2014-04-29 12:14
- 浏览 355
- 评论(0)
有时候Eclipse启动，控制台console不会自动跳出来，需要手工点击该选项卡才行，按下面的设置，可以让它自动跳出来(或不跳出来)：由二种方法：
一、windows -> preferences ->run/debug -> console
在右边面板勾选或去掉"Show when program writest to standard out"和"Show when program writes to standard error"两个多选框，然后重启Eclipse。见图：
- 2014-04-22 21:14
- 浏览 1605
- 评论(0)
下载地址：http://eclipsecolorthemes.org/?list=toppicks&lang=html
安装步骤如下：
1、Import---Preferences
2、选择下载的主题插件
3、点击Finish完成
- 2014-04-21 15:54
- 浏览 617
- 评论(0)