1.如何在win7下的eclipse中调试Hadoop2.2.0的程序
2.如何在windows平台上用Eclipse调试运行HBase

如何在win7下的eclipse中调试Hadoop2.2.0的程序

       åœ¨ä¸Šä¸€ç¯‡åšæ–‡ä¸­ï¼Œæ•£ä»™å·²ç»è®²äº†Hadoop的单机伪分布的部署，本篇，散仙就说下，如何eclipse中调试hadoop2.2.0,vc发送封包源码如果你使用的还是hadoop1.x的版本，那么，也没事，散仙在以前的博客里，也写过eclipse调试1.x的hadoop程序，两者最大的不同之处在于使用的eclipse插件不同，hadoop2.x与hadoop1.x的API，不太一致，所以插件也不一样，我们只需要使用分别对应的插件即可. 

       ä¸‹é¢å¼€å§‹è¿›å…¥æ­£é¢˜: 

       åºå·    åç§°    æè¿°    

       1    eclipse    Juno Service Release 4.2的本    

       2    æ“ä½œç³»ç»Ÿ    Windows7    

       3    hadoop的eclipse插件    hadoop-eclipse-plugin-2.2.0.jar    

       4    hadoop的集群环境    è™šæ‹ŸæœºLinux的Centos6.5单机伪分布式    

       5    è°ƒè¯•ç¨‹åº    Hellow World    

       é‡åˆ°çš„几个问题如下： 

       Java代码  

       java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.    

       è§£å†³åŠžæ³•: 

       åœ¨org.apache.hadoop.util.Shell类的checkHadoopHome()方法的返回值里写固定的 

       æœ¬æœºhadoop的路径，散仙在这里更改如下： 

       Java代码  

       private static String checkHadoopHome() {   

       // first check the Dflag hadoop.home.dir with JVM scope  

       //System.setProperty("hadoop.home.dir", "...");  

       String home = System.getProperty("hadoop.home.dir");  

       // fall back to the system/user-global env variable  

       if (home == null) {   

       home = System.getenv("HADOOP_HOME");  

       }  

       try {   

       // couldn't find either setting for hadoop's home directory  

       if (home == null) {   

       throw new IOException("HADOOP_HOME or hadoop.home.dir are not set.");  

       }  

       if (home.startsWith("\"") && home.endsWith("\"")) {   

       home = home.substring(1, home.length()-1);  

       }  

       // check that the home setting is actually a directory that exists  

       File homedir = new File(home);  

       if (!homedir.isAbsolute() || !homedir.exists() || !homedir.isDirectory()) {   

       throw new IOException("Hadoop home directory " + homedir  

       + " does not exist, is not a directory, or is not an absolute path.");  

       }  

       home = homedir.getCanonicalPath();  

       } catch (IOException ioe) {   

       if (LOG.isDebugEnabled()) {   

       LOG.debug("Failed to detect a valid hadoop home directory", ioe);  

       }  

       home = null;  

       }  

       //固定本机的hadoop地址  

       home="D:\\hadoop-2.2.0";  

       return home;  

       }  

       ç¬¬äºŒä¸ªå¼‚常，Could not locate executable D:\Hadoop\tar\hadoop-2.2.0\hadoop-2.2.0\bin\winutils.exe in the Hadoop binaries.  找不到win上的执行程序，可以去下载bin包，覆盖本机的hadoop跟目录下的bin包即可 

       ç¬¬ä¸‰ä¸ªå¼‚常： 

       Java代码  

       Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://...:/user/hmail/output/part-, expected: file:///   

       at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:)   

       at org.apache.hadoop.fs.RawLocalFileSystem.pathToFile(RawLocalFileSystem.java:)   

       at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:)   

       at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:)   

       at org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSInputChecker.<init>(ChecksumFileSystem.java:)   

       at org.apache.hadoop.fs.ChecksumFileSystem.open(ChecksumFileSystem.java:)   

       at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:)   

       at com.netease.hadoop.HDFSCatWithAPI.main(HDFSCatWithAPI.java:)   

       å‡ºçŽ°è¿™ä¸ªå¼‚常，一般是HDFS的路径写的有问题，解决办法，拷贝集群上的core-site.xml和hdfs-site.xml文件，放在eclipse的src根目录下即可。 

       ç¬¬å››ä¸ªå¼‚常： 

       Java代码  

       Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z    

       å‡ºçŽ°è¿™ä¸ªå¼‚常，一般是由于HADOOP_HOME的环境变量配置的有问题，在这里散仙特别说明一下，如果想在Win上的eclipse中成功调试Hadoop2.2，就需要在本机的环境变量上，添加如下的环境变量： 

       ï¼ˆ1）在系统变量中，新建HADOOP_HOME变量，属性值为D:\hadoop-2.2.0.也就是本机对应的hadoop目录 

       (2)在系统变量的Path里，追加%HADOOP_HOME%/bin即可 

       ä»¥ä¸Šçš„问题，是散仙在测试遇到的，经过对症下药，我们的eclipse终于可以成功的调试MR程序了，散仙这里的Hellow World源码如下： 

       Java代码  

       package com.qin.wordcount;  

       import java.io.IOException;  

       import org.apache.hadoop.fs.FileSystem;  

       import org.apache.hadoop.fs.Path;  

       import org.apache.hadoop.io.IntWritable;  

       import org.apache.hadoop.io.LongWritable;  

       import org.apache.hadoop.io.Text;  

       import org.apache.hadoop.mapred.JobConf;  

       import org.apache.hadoop.mapreduce.Job;  

       import org.apache.hadoop.mapreduce.Mapper;  

       import org.apache.hadoop.mapreduce.Reducer;  

       import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  

       import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;  

       import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  

       import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;  

       /*** 

       *  

       * Hadoop2.2.0测试 

       * æ”¾WordCount的例子 

       *  

       * @author qindongliang 

       *  

       * hadoop技术交流群：   

       *  

       *  

       * */  

       public class MyWordCount {   

       /** 

       * Mapper 

       *  

       * **/  

       private static class WMapper extends Mapper<LongWritable, Text, Text, IntWritable>{   

       private IntWritable count=new IntWritable(1);  

       private Text text=new Text();  

       @Override  

       protected void map(LongWritable key, Text value,Context context)  

       throws IOException, InterruptedException {   

       String values[]=value.toString().split("#");  

       //System.out.println(values[0]+"========"+values[1]);  

       count.set(Integer.parseInt(values[1]));  

       text.set(values[0]);  

       context.write(text,count);  

       }  

       }  

       /** 

       * Reducer 

       *  

       * **/  

       private static class WReducer extends Reducer<Text, IntWritable, Text, Text>{   

       private Text t=new Text();  

       @Override  

       protected void reduce(Text key, Iterable<IntWritable> value,Context context)  

       throws IOException, InterruptedException {   

       int count=0;  

       for(IntWritable i:value){   

       count+=i.get();  

       }  

       t.set(count+"");  

       context.write(key,t);  

       }  

       }  

       /** 

       * æ”¹åŠ¨ä¸€ 

       * (1)shell源码里添加checkHadoopHome的路径 

       * (2)行，FileUtils里面 

       * **/  

       public static void main(String[] args) throws Exception{   

       //      String path1=System.getenv("HADOOP_HOME");  

       //      System.out.println(path1);  

       //      System.exit(0);  

       JobConf conf=new JobConf(MyWordCount.class);  

       //Configuration conf=new Configuration();  

       //conf.set("mapred.job.tracker","...:");  

       //读取person中的数据字段  

       // conf.setJar("tt.jar");  

       //注意这行代码放在最前面，进行初始化，否则会报  

       /**Job任务**/  

       Job job=new Job(conf, "testwordcount");  

       job.setJarByClass(MyWordCount.class);  

       System.out.println("模式：  "+conf.get("mapred.job.tracker"));;  

       // job.setCombinerClass(PCombine.class);  

       // job.setNumReduceTasks(3);//设置为3  

       job.setMapperClass(WMapper.class);  

       job.setReducerClass(WReducer.class);  

       job.setInputFormatClass(TextInputFormat.class);  

       job.setOutputFormatClass(TextOutputFormat.class);  

       job.setMapOutputKeyClass(Text.class);  

       job.setMapOutputValueClass(IntWritable.class);  

       job.setOutputKeyClass(Text.class);  

       job.setOutputValueClass(Text.class);  

       String path="hdfs://...:/qin/output";  

       FileSystem fs=FileSystem.get(conf);  

       Path p=new Path(path);  

       if(fs.exists(p)){   

       fs.delete(p, true);  

       System.out.println("输出路径存在，已删除！");  

       }  

       FileInputFormat.setInputPaths(job, "hdfs://...:/qin/input");  

       FileOutputFormat.setOutputPath(job,p );  

       System.exit(job.waitForCompletion(true) ? 0 : 1);    

       }  

       }  

       æŽ§åˆ¶å°ï¼Œæ‰“印日志如下： 

       Java代码  

       INFO - Configuration.warnOnceIfDeprecated() | mapred.job.tracker is deprecated. Instead, use mapreduce.jobtracker.address  

       æ¨¡å¼ï¼š  local  

       è¾“出路径存在，已删除！  

       INFO - Configuration.warnOnceIfDeprecated() | session.id is deprecated. Instead, use dfs.metrics.session-id  

       INFO - JvmMetrics.init() | Initializing JVM Metrics with processName=JobTracker, sessionId=  

       WARN - JobSubmitter.copyAndConfigureFiles() | Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.  

       WARN - JobSubmitter.copyAndConfigureFiles() | No job jar file set.  User classes may not be found. See Job or Job#setJar(String).  

       INFO - FileInputFormat.listStatus() | Total input paths to process : 1  

       INFO - JobSubmitter.submitJobInternal() | number of splits:1  

       INFO - Configuration.warnOnceIfDeprecated() | user.name is deprecated. Instead, use mapreduce.job.user.name  

       INFO - Configuration.warnOnceIfDeprecated() | mapred.output.value.class is deprecated. Instead, use mapreduce.job.output.value.class  

       INFO - Configuration.warnOnceIfDeprecated() | mapred.mapoutput.value.class is deprecated. Instead, use mapreduce.map.output.value.class  

       INFO - Configuration.warnOnceIfDeprecated() | mapreduce.map.class is deprecated. Instead, use mapreduce.job.map.class  

       INFO - C

如何在windows平台上用Eclipse调试运行HBase

       ã€€ã€€æ“ä½œæ­¥éª¤å¦‚下：

       ã€€ã€€1.下载和安装cygwin；

       ã€€ã€€2.下载新的Zookeeper包和HBase包，这里ZooKeeper版本为3.3.1，HBase版本为0..4

       ã€€ã€€3.把利用它们的源码包在Eclipse下生成2个独立的Project,注意：zookeeper工程，要把那个conf目录加入到工程的src中去

       ã€€ã€€4.修改zookeeper工程下的conf目录中的zoo.cfg文件，例子如下：

       ã€€ã€€# The number of milliseconds of each tick

       ã€€ã€€tickTime=

       ã€€ã€€# the directory where the snapshot is stored.

       ã€€ã€€dataDir=D:/zookeeper-3.3.1/data

       ã€€ã€€# the port at which the clients will connect

       ã€€ã€€clientPort=

       ã€€ã€€å°±æ˜¯ç»™zookeeper指定文件存放的地方以及端口

       ã€€ã€€5.启动zookeeper

       ã€€ã€€åœ¨Eclipse中新建一个Run config，main class为：org.apache.zookeeper.server.quorum.QuorumPeerMain

       ã€€ã€€å¯åŠ¨çš„程序参数为：D:/workspace/zookeeper3.3.1/conf/zoo.cfg

       ã€€ã€€å¯åŠ¨çš„虚拟机参数为：

       ã€€ã€€-Dzookeeper.log.dir=D:/workspace/zookeeper3.3.1/log

       ã€€ã€€-Dzookeeper.root.logger=INFO,CONSOLE

       ã€€ã€€å¦‚图所示：

       ã€€ã€€å¥½äº†ï¼Œè¿™æ ·å°±å¯ä»¥åœ¨Eclipse中把ZooKeeper启动起来了。

       ã€€ã€€6.修改HBase project中的一个类

       ã€€ã€€org.apache.hadoop.hbase.LocalHBaseCluster

       ã€€ã€€æ‰¾åˆ°å®ƒçš„main函数，把main函数改成下

       ã€€ã€€public static void main(String[] args) throws IOException {

       ã€€ã€€HBaseConfiguration conf = new HBaseConfiguration();

       ã€€ã€€conf.set("hbase.zookeeper.quorum", "localhost");

       ã€€ã€€conf.set("hbase.zookeeper.property.clientPort", "");

       ã€€ã€€LocalHBaseCluster cluster = new LocalHBaseCluster(conf,1);

       ã€€ã€€cluster.startup();

       ã€€ã€€}　　

       ã€€ã€€æ³¨æ„è¡Œï¼šLocalHBaseCluster cluster = new LocalHBaseCluster(conf,1); 构造函数中的1是代表Region server的个数，在这里只想起一个region server.

       ã€€ã€€7.修改HBase的配置文件

       ã€€ã€€åœ¨HBase project下的src中可以看到hbase-default.xml和hbase-site.xml两个文件，改哪个都可以。直接在hbase-default.xml改的，重要的是下面3个属性hbase.rootdir，hbase.cluster.distributed，hbase.tmp.dir，

       ã€€ã€€æŠŠhbase.rootdir，hbase.tmp.dir都指向了本地的目录，当然可以根据自己的需要调整,当然格式一定一样写。

       ã€€ã€€<property>

       ã€€ã€€<name>hbase.rootdir</name>

       ã€€ã€€<value>file:///D:/hbase-0..3/data </value>

       ã€€ã€€<description>The directory shared by region servers.

       ã€€ã€€Should be fully-qualified to include the filesystem to use.

       ã€€ã€€E.g: hdfs://NAMENODE_SERVER:PORT/HBASE_ROOTDIR

       ã€€ã€€</description>

       ã€€ã€€</property>

       ã€€ã€€<property>

       ã€€ã€€<name>hbase.cluster.distributed</name>

       ã€€ã€€<value>false </value>

       ã€€ã€€<description>The mode the cluster will be in. Possible values are

       ã€€ã€€false: standalone and pseudo-distributed setups with managed Zookeeper

       ã€€ã€€true: fully-distributed with unmanaged Zookeeper Quorum (see hbase-env.sh)

       ã€€ã€€</description>

       ã€€ã€€</property>

       ã€€ã€€<property>

       ã€€ã€€<name>hbase.tmp.dir</name>

       ã€€ã€€<value>D:/hbase-0..3/tmp </value>

       ã€€ã€€<description>Temporary directory on the local filesystem.</description>

       ã€€ã€€</property>

       ã€€ã€€<property>　　

       ã€€ã€€8.启动HBase，直接run org.apache.hadoop.hbase.LocalHBaseCluster就可以，run config不需要没有什么别的配置。当然就也可以debug了。