• hadoop编程中的JobConf对象简述

    hadoop编程中的JobConf对象简述

    本站主要内容均为原创,转帖需注明出处www.alexclouds.net      这里主要说说MAIN函数里的对象JobConf,对象里有不同的参数,这些参数很多情况下就是一个java接口,通过注入这些接口的特定实现,可以定义一个计算任务的全部细节。了解这些参数及其缺省设置,才能顺利编写自己的并行计算程序。      明白哪些类是需要自己实现的,哪些类用Hadoop的缺省实现即可...

    02011 年 4 月 28 日810编程与技术
  • hive出错FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: No suitable driver found

    hive出错FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: No suitable driver found

    本站主要内容均为原创,转帖需注明出处www.alexclouds.net      hive出错。其实MYSQL的JAR包已经给了HVIE,但是还是提示NOSUITABLEDRIVER。。原来是Thevaluepropertyshouldnotcontainanyspacesorcarriagereturns.Itshouldappearallononeline. ====》PROPERTY元素中不要有回车和空格。真是非常坑!!--------------------------------------------------...

    02011 年 4 月 27 日1,683Big Data大数据
  • hadoop引用外部jar包

    hadoop引用外部jar包

    本站主要内容均为原创,转帖需注明出处www.alexclouds.net             我常用的是两种方式,一是使用libjars二是使用tmpjars参数设定。      在程序中通过tmpjars参数设定:jars为所有外部jar包字符串形式,英文逗号分隔。       在运行hadoop命令时,可通过参数的方式,把所需要的外部jar包...

    02011 年 4 月 24 日909Big Data大数据,编程与技术
  • hadoop中运行WORDCOUNT实例涉及到的一些类和接口

    hadoop中运行WORDCOUNT实例涉及到的一些类和接口

    本站主要内容均为原创,转帖需注明出处www.alexclouds.net      运行WORDCOUNT中会涉及到一些类,这些类需要进一步做了解,为了便于理解,博主还是网上搜罗了一大堆回来整理一遍,然后贴出来。一、org.apache.hadoop.io.Text类的set()方法     ======================================publicvoidset(Stringstring){try{ByteBufferbb=encode(string,true);&nb...

    02011 年 4 月 12 日807编程与技术
  • 从WordCount主函数看程序执行过程

    从WordCount主函数看程序执行过程

    本站主要内容均为原创,转帖需注明出处www.alexclouds.net     博主也在学习中,对于WORDCOUNT其实充满好奇,急于想了解程序执行过程,于是网上搜了一大堆资料,接下来整理一下。    其实主要还是介绍Configuration类的实例,其实是为了获取Hadoop的配置信息,在这些配置下才能进行接下来的tool运行工作。下面涉及到的代码都是HADOOP自带。博主不过是COPY过来解...

    02011 年 4 月 12 日789编程与技术
  • 粗浅分析WordCount程序结构

    粗浅分析WordCount程序结构

    本站主要内容均为原创,转帖需注明出处www.alexclouds.net     首先,博主认为还是要理解程序封装的常见数据类型,同时我们也知道,JAVA里面的字符数据类型章节有多么的重要,好好研究吧。      1、IntWritable整型:,Hadoop对Int的封装      2、Text字符串型:,Hadoop对string的封装      3、C...

    02011 年 4 月 12 日726编程与技术
  • 运行一个MAPREDUCE作业-hadoop-0.19.0-examples.jar

    运行一个MAPREDUCE作业-hadoop-0.19.0-examples.jar

    本站主要内容均为原创,转帖需注明出处www.alexclouds.net       我们先来看Hadoop自带的示例程序WordCount,这个程序位于hadoop-0.19.0-examples.jar中,用于统计一批文本文件中单词出现的频率,完整代码可在Hadoop的src/examples中找寻。这次测试所用的集群是个简单集群。执行第一个HadoopMapReduce作业,这个JAVA的MAPREDUCE程序已经放在HADOOP的目录里,使用Wo...

    02011 年 4 月 10 日721Big Data大数据,编程与技术
  • Hadoop的文件格式分析

    Hadoop的文件格式分析

    本站主要内容均为原创,转帖需注明出处www.alexclouds.net        Hadoop实际上支持任意文件格式,这一点对于搞编程的人来说太容易理解了,只要对应的RecordWriter和RecordReader即可。       Hadoop有很多常用的文件格式,比如SequenceFile、RCFile、AvroMR文件格式、TextFile、XML和JSON等等。前三种是二进制格式,有点比文...

    02011 年 4 月 9 日737Big Data大数据,编程与技术
  • Maven与eclipse结合使用

    Maven与eclipse结合使用

    本站主要内容均为原创,转帖需注明出处www.alexclouds.net      安装Mavenforeclipse非常简单,到EclipseMarketplace搜索到插件MavenIntegrationforEclipse并安装即可,不要告诉我不知道怎么装,那样我会郁闷的。             创建一个MAVEN项目fffffffffffff,并编译成功。代码就不在这里贴上来了,manyandmany,主要...

    02011 年 4 月 5 日729编程与技术
  • RAID vs. JBOD on Hadoop

    RAID vs. JBOD on Hadoop

    本站主要内容均为原创,转帖需注明出处www.alexclouds.net      为什么HADOOP文件集群不需要RAID呢?这当然需要一个解释,在这方面YAHOO已经做过实际检验,我仅把YAHOO的英文邮件贴出来。以供参考普及知识用~~Subject:Re:RAIDvs.JBODFrom:RunpingQi(runp...@yahoo-inc.com)Date:Jan14,20091:54:05pmList:org.apache.hadoop.core-userHi,WeatYahoodidsomeHa...

    02011 年 4 月 2 日864Big Data大数据