• 主頁 > 技術資料 >

    技術資料

    如何在Windows中使用Intellijidea搭建遠程Hadoop開發環境

    最后再總結一下:本機訪問hadoop環境:1.需要在本機下載hadoop,不需要修改配置安裝,但需要設置下hadoop_home,java_home等;2.(windows下)下載hadoop在win下的執行文件放到bin目錄(可以去github上搜winutils)3.拷貝集群配置文件到resources下面4.如果集群設置了hdfs訪問權限限制,比如開啟了指定用戶xxx才能訪問那么可以在程序里設置System.setProperty("HADOOP_USER_NAME","xxx")5.如果集群配置中都是指定的主機名,那么需要在你本機hosts中加上集群主機解析那么這樣應該就可以訪問hdfs,hbase等等。應該可以應對大部分的調試,如果有些還是不方便的話可以考慮java遠程調試另外我本身主要做spark開發,對于spark開發調試:1.spark遠程調試,ide的配置網上一大堆就不說了,在遠程服務器的spark腳本中可以這樣設置:--driver-java-options"-Xdebug-Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=9527"后面是端口,和你的ide保持一致。2.sparklocal調試,spark的local模式調試很方便,也很方便看日志輸出,配置好前面說的本機訪問Hadoop環境就可以,然后需要在你的sparkmaster中指定local3.sparkonyarn調試,在做到前面的本機訪問Hadoop環境后,要能在你的ide里面直接run就提交到集群yarn上面還需要做些改變:a:在自己的工程中新建org.apache.spark.deploy包,在spark源碼中拷貝SparkSubmit到該包下(可以改下類名),新建一個提交類將spark腳本參數封裝在一個數組中,比如Array("--name","SparkTest","--class","xxx.xxx.xxx.test")等等完全類似腳本提交的參數,只是需要注意的是應用程序jar可以指定在target下,這樣不用經常改,然后將該參數數組傳入sparksubmit.main()。b:拷貝集群配置文件到一個目錄,環境變量中設置HADOOP_CONF_DIR指向該目錄(我小小修改了下sparksubmit可以不用在環境變量中指定)。本機下載spark,配置sparkhome,可以參考網上的sparkonwin教程c:工程中引入spark-yarn包d:這樣就可以run你的應用提交了,看看是不是提交到yarn上面了,這個方法我在mac上試過沒問題,在windows下做好前面的也應該是沒問題的。f:最后再提個小技巧,為了避免每次spark上傳很大的依賴包,可以把大部分依賴放到hdfs上,然后在spark_default中指明spark.yarn.jars到hdfs目錄歡迎討論交流。-----------------------------------------------------------------------------------------------------如果工作環境和集群服務器能網絡互通其實有更加方便的調試方式可以在本地下載hadoop,不需要修改配置安裝(只是以客戶端方式提交,最終在服務器上執行),只需設置下hadoop_home,另外需要注意的是需要下幾個hadoop在win下的執行文件放到bin目錄(下載方式:推薦去github上搜winutils,只需要bin下面的幾個執行文件包括winutils.pdbwinutils.exelibwinutils.libHadoop.pdbhadoop.libhadoop.exphadoop.dll,版本一致的話直接把他的bin目錄拷下來覆蓋你的bin),其余配置文件不用修改,然后工程里面需要把服務器的集群配置文件拷到resource下面,就是幾個site.xml,然后就可以直接run你的應用,spark的話只是測試的話建議local比較方便,計算任務比較重可以考慮onyarn,這種直接run比遠程調試會方便很多的-------------------原答案--------------------我現在是在win上用idea開發,調試時直接打好jar提交到服務器上執行,調試則可以用java遠程調試,idea里面就能看到調試信息。
    關鍵詞:
    我要留言共 0 條留言
    我要留言:
    內容:
    (內容500字,1000字)
    驗證碼:
     
    Copyright © 2015 海寧市普寧板業有限公司 版權所有
    網站地圖    友情鏈接:
    内蒙古11选5QQ群