• 从mysql取数据到HDFS程序代码 (续)

    从mysql取数据到HDFS程序代码 (续)

    本站主要内容均为原创,转帖需注明出处www.alexclouds.net      博主前面已经将技术验证从MYSQL里取数据搞好了,下面其实涉及到更加具体的,比如有条件的取数据怎么搞?这些还是要利用MYSQL逻辑语句本身的功能即可实现了,所以关系型数据库没法被崛起的非关系型KV类数据库完全替代。二者适应的业务场景并不完全重合。      比如从stocks表里查APPL与...

    02011 年 9 月 17 日978Big Data大数据,编程与技术
  • 从mysql取数据到HDFS程序代码 (2)

    从mysql取数据到HDFS程序代码 (2)

    本站主要内容均为原创,转帖需注明出处www.alexclouds.net     接下来程序代码实现MAPREDUCE的实过程,将数据从MYSQL取出并写为AVRO格式文件。     主要代码如下:publicclassStockRecordextendsStockPriceWritable   implementsWritable,DBWritable{ privatefinalstaticSimpleDateFormatsdf=     ...

    02011 年 9 月 13 日973Big Data大数据,编程与技术
  • 从mysql取数据到HDFS程序代码(1)

    从mysql取数据到HDFS程序代码(1)

    本站主要内容均为原创,转帖需注明出处www.alexclouds.net      这是博主做的一个技术验证过程。把它贴出来以备日后查验。数据库的数据自建,不是循环写,而是把美国STOCK2009以前的数据A部分导入到MYSQL,这个过程我简单解释一下,有对SQL逻辑的人看了应该能理解。实在不明白的多看几遍:)     这是总体逻辑,调用hadoop的DBINPUTFORMAT。&n...

    02011 年 9 月 13 日783Big Data大数据,编程与技术
  • Hadoop中使用HPROFILE分析执行性能 (2)

    Hadoop中使用HPROFILE分析执行性能 (2)

    本站主要内容均为原创,转帖需注明出处www.alexclouds.net     还拿wordcount来举例,提交job命令如下:bin/hadoopjarhadoop-examples-1.1.2.jarwordcount-Dmapred.reduce.tasks=10-Dkeep.failed.task.files=fales-Dmapred.task.profile=true-Dmapred.task.profile.params="-agentlib:hprof=cpu=samples,heap=sites,depth=6,force=n,thread=y,verbose=n,file=%s"alexcloudsalexclouds-output2 &...

  • Hadoop中使用HPROFILE分析执行性能 (1)

    Hadoop中使用HPROFILE分析执行性能 (1)

    本站主要内容均为原创,转帖需注明出处www.alexclouds.net一、JAVA中怎么搞的,如下      hadoop中使用java的hprofile组件记录文件的执行情况,比如:     CPUUsageSamplingProfiles(cpu=samples)        HPROF可以用来搜集java进程中各个threads的cpu使用情况:HPROF会对java进程中所有的threads进行周期性...

  • eclipse上配置HADOOP插件

    eclipse上配置HADOOP插件

    本站主要内容均为原创,转帖需注明出处www.alexclouds.net       一直都是没用到HADOOP插件,因为觉得实际上也没什么大用。没有人会直接连接到生产环境的HADOOP进行开发,顶多就是测试环境研究开发而已。所以全看你自己的要求了。我倒是觉得没什么大用。      今天拿来这个插件安装一下,纯属意外。也是连接的虚拟机测试环境,不敢直接连接生产环境...

    02011 年 9 月 6 日2,412编程与技术
  • 在客户端使用嗅探工具wireshark追溯web应用反应慢的问题

    在客户端使用嗅探工具wireshark追溯web应用反应慢的问题

    本站主要内容均为原创,转帖需注明出处www.alexclouds.net      不单是WIRESHARK,只是因为这玩意儿是开源免费的。以前有个美国EEYE公司的IRIS非常专业,EEYE公司是老牌的信息安全公司,这点搞安全的人都知道,而其IRIS堪称分析网络问题的利器。博主用了很多年,只是由于版本5没有注册码,博主只好放下了,改用wireshark,其实原理都是一样的,追查一个访问WWW的流,从...

    02011 年 9 月 5 日963工作相关
  • 云计算中的SLA解决方案服务品质协议

    云计算中的SLA解决方案服务品质协议

    本站主要内容均为原创,转帖需注明出处www.alexclouds.net      博主在做云计算中,深知对运营服务中的SLA要求较高。      云计算所有系统需要满足的SLAs通常取决于业务和市场需求。有的时候,达成SLA的期望过早,而在后期对相关依赖系统的分析中会发现,预先达成的SLAs其实是不可行的。所以后期仍然要调整。      由于服...

    02011 年 9 月 2 日1,084云计算,工作相关,运营服务