- 浏览: 62189 次
- 性别:
- 来自: 上海
文章分类
最新评论
前面已经有一篇记述了hadoop-plugin for eclipse的安装,但是仍受限于run on hadoop不能工作,而且是在虚拟机内部,没有试过在虚拟机外用eclipse连接虚拟机内部的hdfs
为解决以上两问题,总结这两天的工作情况
一、结合网上的说法,plugin是用eclipse europa开发的,可以和这个版本良好结合,试过,确实可以使用run on hadoop了。
二、远程访问hadoop
参考这篇文章
要注意的地方有以下几个
1.首先查看虚拟机IP(即hadoop安装启动的机器),并保证ssh ${ip}无须登录
2.在客户机(我的例子是虚拟机外部的windows本机)的hosts里加上虚拟机的ip与机器名的映射,重启生效
3.hadoop的所有配置文件中用域名的地方改为ip,主要是core-site.xml、mapred-site.xml、master、slave;
4.eclipse中配置hadoop时,advance parameter中hadoop.tmp.dir必须与core-site.xml中配置的一样,还有hadoop.job.ugi这一项,第一次可能不会出现(linux里的eclipse一直不出现),重启或重连接后会出现,这一项必须配置成 (登录用户名),(登录用户组)的形式
5.虚拟机里的hosts文件必须改,必须将127.0.0.1的项目都去掉或者注解掉(就是没有去掉这个导致浪费了一下午加一晚上),必须加上ip对应虚拟机机器名的项
感受:hadoop相关工具的版本问题很头疼,hadoop本身一直在向前开发,但是各相关工具没有跟上,目前看来,如果不想用cloudera的版本而用原生的话,最好用hadoop-0.20.2版,eclipse用europa版,加上0.20.2的插件,就可以进行相应的开发了
发表评论
-
centos7下安装hadoop2.6.4过程总结
2016-03-03 21:49 0linux是从ubuntu开始接触的,但听说做服务器的,而且 ... -
[转]Yahoo持续的Pig/Hadoop(MapReduce)工作流
2013-03-16 21:40 806传送门:http://blog.sina.c ... -
有关kvm
2013-03-16 21:15 1271有一台式机,希望能模拟一个三四台的小集群,因为装的ubun ... -
hadoop 源代码学习
2011-12-15 14:44 0根据《hadoop 源代码分析 完整版》 (四) 主 ... -
hadoop io机制 序列化与反序列化
2011-12-15 11:27 0原文: http://blog.csdn.net/asx20 ... -
MapReduce流程分析
2011-12-13 18:39 1219原文:http://blog.csdn.net/jackyda ... -
[转]Twitter首席工程师:如何“打败”CAP定理
2011-12-12 11:44 1857英文原文:How to beat the CAP theore ... -
自行编译hadoop eclipse-plugin for eclipse3.7
2011-12-12 11:33 2829主要是这两篇文章: http://varyall.iteye ... -
mapper,reducer的个数
2011-12-07 13:10 0《实战Hadoop》中第3章有一节讨论reducer的个数,从 ... -
HDFS常用操作与API
2011-11-22 11:16 0《Hadoop》实践Chap2 相应条目下给出命令与贴图(另 ... -
MapReduce:一个重大的倒退
2011-10-14 15:55 1093原文:http://apps.hi.baidu ... -
hbase单机终于跑起来了
2011-11-02 15:00 4137去看了日志文件 2011-11-01 23:44:06,99 ... -
hbase终于跑起来了 续
2011-11-02 15:09 851其实在前面还有一段,没有保存下当时的经历,现在将配置项保存一下 ... -
hbase终于跑起来了再续
2011-11-02 21:01 762java.lang.NoClassDefFoundError: ... -
eclipse plugin 终于有作用了
2011-11-05 16:19 1435前几天一直无进展,今天也弄了半天,但是出现了转机,不再是那个“ ... -
erlang重新开张
2011-11-16 13:39 846以此庆贺重拾erlang 重看《erlang程序设计》 ... -
hbase 索引记录
2011-11-16 21:15 996根本目的是实时的查询速度 从两方面来看: 一、HBa ... -
yahoo论文:Benchmarking Cloud Serving Systems with YCSB
2011-11-16 21:16 1743摘要:针对大规模数据分析的mapreduce技术已被广泛意识和 ... -
YCSB%e6%b5%8b%e8%af%95hbase
2011-11-16 21:16 1138首先,ycsb放狗,第一个就是 https://github ... -
HDFS study
2011-11-16 21:18 926http://varyall.iteye.com/blog/7 ...
相关推荐
hadoop eclipse plugin for version 1.0.1
hadoop-eclipse-plugin-3.1.1, hadoop eclipse 插件 3.1.1
hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1
Hadoop Eclipse是Hadoop开发环境的插件,用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件...
hadoop eclipse plugin,可以集成Eclipse进行开发。
Eclipse集成Hadoop2.10.0的插件,使用`ant`对hadoop的jar包进行打包并...- `hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin/build.xml` 开源源地址: https://github.com/winghc/hadoop2x-eclipse-plugin
用来配置myeclipse或eclipse对应的hadoop 插件,方便开发
hadoop-eclipse-plugin-3.1.3,eclipse版本为eclipse-jee-2020-03
hadoop-eclipse-plugin-2.7.4.jar和hadoop-eclipse-plugin-2.7.3.jar还有hadoop-eclipse-plugin-2.6.0.jar的插件都在这打包了,都可以用。
hadoop-eclipse-plugin-2.7.2.jar完美兼容版 Tested with following eclipse version for hadoop2.7.2(http://pan.baidu.com/s/1i4plIfF): Eclipse Java EE IDE for Web Developers. Version: Mars.1 Release (4.5.1...
hadoop-eclipse-plugin.jar插件基于Ubuntu18.04和Hadoop-3.2.1编译的,最后可以在eclipse创建Map Reduce文件
该文档是hadoop-eclipse-plugin-2.7.6的下载地址及提取码
hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包
最新的hadoop-eclipse-plugin-2.7.4.jar 很好用的hadoop的eclipse插件。自己编译的。 经过测试,使用没有任何问题。 请各位放心使用
hadoop1.0.0没有提供eclipse插件的jar包,但是提供了源码,编译后,供大家下载。
hadoop官方自带的eclipse插件貌似不能使用 在连接hadoop集群的时候报错 我根据这篇文章对jar包进行了修改 http://hi.baidu.com/wangyucao1989/blog/item/279cef87c4b37c34c75cc315.html 亲测正常使用
eclipse中需要的hadoop插件,对应hadoop版本3.x。 注意:插件的版本要和用的hadoop版本保持一致
hadoop-eclipse-plugin-2.8.3.jar hadoop eclipse插件,hadoop版本2.8.3,eclipse版本oxygen,亲测可以,用问题请留言:http://blog.csdn.net/familyshizhouna/article/details/78892500
网上没找到2.8.1的版本,自己编译,经测试可用。
找不到与hadoop-2.9.2版本对应的插件,手动生成的hadoop-eclipse-plugin-2.9.2版本,