<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    2011年2月21日

    基于開源ssh Ganymed 的ssh遠程連接工具(共同討論版)

         摘要: ssh 連接工具實現, ganymed-ssh2 阻塞  閱讀全文

    posted @ 2012-08-12 18:34 scorpio小蝎 閱讀(5493) | 評論 (4)編輯 收藏

    java 多態產生的疑問

         摘要: java 多態的特例 不是所有方法都可以被覆蓋 父類中private方法不支持多態  閱讀全文

    posted @ 2012-07-10 17:27 scorpio小蝎 閱讀(406) | 評論 (7)編輯 收藏

    Hadoop 集群配置過程及問題總結

    轉載請注明:
    http://www.tkk7.com/roymoro/archive/2012/01/02/367731.html
    Hadoop
    實踐入門

    1           實驗環境搭建

    1.1          準備工作

    ubuntu/redhat

    JDK/openjdk

    Hadoop

    Eclipse

    vmvare/virtureBox

    1.1.1     ubuntu 安裝

           下載最新版本ubuntu 11.10。

           安裝注意事項:

           1、關閉防火墻:shell命令 sudo ufw disable。不關閉有可能造成master slave 通信失敗。出現連接超時,重連錯誤??梢酝ㄟ^指定iptables 實現端口過濾。

           2、安裝ssh(用于masterslave遠程登錄):sudo apt-get install ssh

    1.1.2     安裝jdk

           1)解壓sun jdk壓縮包到指定的文件夾。

                  sudo vi /etc/profile 或者 etc nano /etc/profile

    •         配置/etc/profile,加入:

    export JAVA_HOME=/usr/java/jdk1.6.0_22

    export JRE_HOME=/usr/java/jdk1.6.0_22/jre

    export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

    export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

        2)可以使用openjdk sudo apt-get insall open-jdk-6 或者通過軟件中心。

     

    驗證 shell命令 java -version 看是否與你的版本號一致

    1.1.3 安裝hadoop

    在每臺機器上相同用戶的home根目錄下解壓,hadoop-0.20.2.tar.gz 配置conf/hadoop-env.sh文件。 增加 export JAVA_HOME =/usr/lib/jvm/java-6-openjdk 這里修改為你的jdk的安裝位置。

     

    1.2          偽分布式搭建

                  Hadoop可以在單電商以為分布分布式模式運行,用不同的java進程模擬分布式中的中的各類節點namenode,datanodejobtracker,tasktracker,secondary namenode

    1.2.1     hadoop配置

           hadoop 0.2.0.2之后需要修改core-site.xml\hdfs-site.xml 以及 mapred-site.xml

    配置文件如下:

    core-site.xml 配置核心內容,其中fs.default.name hdfs地址;tmphadoop.tnp.dir為臨時文件

    <configuration>

         <property>

             <name>fs.default.name</name>

             <value>hdfs://localhost:49000</value>

         </property>

    <property>

    <name>hadoop.tmp.dir</name>

     <value>/home/hadooper/hadooptmp</value>

         </property>

    </configuration>

    注意事項:一定要指定,相同的用戶名,并且tmp一定要設置,否則會出現權限問題。導致hadoop啟動失敗。也可以通過chmod 命令來改變默認tmp的權限。默認tmp路徑為:/usr/tmp。推薦第一種方式。

     

    hdfs-site.xml 設置 hdfs 參數

    <configuration>

         <property>

             <name>dfs.replication</name>

             <value>1</value>

         </property>

    </configuration>

    這里dfs.replication指塊的副本數。副本數具體策略可參加見hadoop官方指南。

     

    mapred-site.xml 文件的修改

    <configuration>

         <property>

             <name>mapred.job.tracker</name>

             <value>localhost:49001</value>

         </property>

    </configuration>

    這個設置了jobtracker的端口。

    注意端口的選擇一定要恰當,尤其是集群的配置。默認的90009001很容易被ubuntu中其他進程占用,導致datanode失效,因此選擇沒有占用的49000 49001。筆者,曾經就曾困擾與此。集群配置中將再次強調。

     

    1.2.2     ssh設置

    因為master需要訪問datanode因此需要免密碼ssh

    設置方法:

    ssh-keygen -t rsa然后一直按回車

    完成后,在home跟目錄下會產生隱藏文件夾.ssh

    cd .ssh

    之后ls 查看文件

    cp id_rsa.pub authorized_keys

    測試:

    ssh localhost發現鏈接成功,并且無需密碼。

    1.2.3     hadoop運行

    hadoop安裝目錄下:

    首先 bin/hadoop namenode -format格式化文件系統

    然后 bin/start-all.sh 來啟動守護進程。

    利用java 命令 jps 查看進程。或者通過 網址:localhost:50070 localhost:50030來查看是否成功。

     

    1.3          集群搭建

    如上所述安裝ubuntu 并且擁有相同用戶。安裝jdk ,安裝hadoop。配置jdk路徑等。

    1.3.1     主機信息:

    機器名

    IP地址

    作用

    Node1

    192.168.234.128

    NameNodeJobTracker

    Node2

    192.168.234.129

    DataNode、TaskTracker

    Node3

    192.168.234.130

    DataNode、TaskTracker

    修改每臺機器上的hosts

    sudo vi /etc/hosts

    192.168.1.31   node1

    192.168.1.32  node2

    192.168.1.33   node3

    1.3.2     ssh 設置

               NameNode 上的id_dsa.pub 文件追加到DataNode authorized_keys 內:

               a. 拷貝NameNode id_dsa.pub 文件:

               $ scp id_dsa.pub hadooper@node2:/home/hadoop/

               b. 登錄node2,執行

                           $ cat id_dsa.pub >> .ssh/authorized_keys

              在所有datanode上執行相同的操作。

              驗證:從node1

              ssh node2

              exit

              ssh node3

              exit

              如果全部免密碼登錄則成功

    1.3.3     配置hadoop

    配置conf/masters conf/slaves 文件

    Masters

    node1

    Slaves

    node2

    node3

     

    core-site mapred-site hdfs-site 和偽分布配置基本相同.只是對應地址,localhost換成了namenode的名稱,node1。

    q            配置conf/core-site.xml

    <configuration>

     <property>

        <name>fs.default.name</name>

        <value>hdfs://node1:49000</value>

     </property>

    </configuration>

    仍然注意端口,在運行時如果datanode連接不上namenode,有可能是由于端口問題。換一個端口

    1.3.4     運行hadoop

    首先格式化文件系統:$ bin/hadoop namenode –format

    啟動Hadoop集群:

    $ bin/start-all.sh

    停止Hadoop集群:

    $ bin/stop-all.sh

    查看集群狀態:$ bin/hadoop dfsadmin -report

    Hadoop web 方式查看

    JobTrackerhttp://node1:50030

    NameNodehttp://node1:50070

     

     

               

     

    1.4          eclipse 插件安裝

    安裝eclipse 只需要把hadoop/contrib/eclipse-plus 下的包考到eclipseplus里即可。(該方法有問題,因為該插件只能部分支持eclipse3.6,如果需要全部支持安裝eclipse3.4以下版本,或修改該插件較復雜)。如果有誰修改了適合3.6以上的插件roymoro@gmail.com.幫我發一份。

     

    posted @ 2012-01-02 17:41 scorpio小蝎 閱讀(7608) | 評論 (2)編輯 收藏

    Java 實現程序運行狀態監控 之我的思路(守護進程)

         摘要:   Java 實現程序運行監控狀態之我的思路(守護進程) 問題:寫出這個工具的意義在于我運行一個需要長時間執行的程序,如單線程爬蟲。在網絡出現中斷的或網站丟包情況下,程序會拋出socketexception 和sockettimeoutexception。程序會中斷。(再此只是提出一種假設) 解決方案: Java 并不能像C#一樣對windows的進程進行監控(資料說這是跨平臺原...  閱讀全文

    posted @ 2011-05-09 13:42 scorpio小蝎 閱讀(12315) | 評論 (4)編輯 收藏

    JAVA 正則表達式的溢出問題 及不完全解決方案。 (感謝Lancelot 在評論中給出的方法)

    Exception in thread "main" java.lang.StackOverflowError
    at java.lang.Character.codePointAt(Character.java:
    2335)
    at java.util.regex.Pattern$CharProperty.match(Pattern.java:
    3344)
    at java.util.regex.Pattern$Branch.match(Pattern.java:
    4114)
    at java.util.regex.Pattern$GroupHead.match(Pattern.java:
    4168)
    at java.util.regex.Pattern$LazyLoop.match(Pattern.java:
    4357)
    at java.util.regex.Pattern$GroupTail.match(Pattern.java:
    4227)
     at java.util.regex.Pattern$BranchConn.match(Pattern.java:
    4078)
    類似于以上異常,源自于正則匹配需要不斷地遞歸字符串。當字符串遞歸超過800+,具體數字忘記了,就會出現堆棧溢出。
     我在實際應用的場景是,匹配一個網頁尋求《div》《/div》 之間的內容。當div 之間字符達到了950的時候這時候產生了 類似以上的錯誤。
    經過分析,和網友遇到的類似問題貼http://topic.csdn.net/u/20110303/10/6a7dce52-481b-430a-b442-98099e9a01c9.html
    得出以下不完全正確的解析方案

    在正則表達式匹配時對字符個數進行限制 如:"<div>(.*?|\n*|\r*)*</div> 變成了 <div>(.*?|\n*|\r*){0,700}</div> 這樣達到了限制字符的作用。
    但是當解析到此條目時速度仍然非常慢。

    如果您有更好的解決方案請您聯系我。

    歡迎轉帖。轉帖請標注出處,以更好的和大家探討解決問題。

    ——————————————————————————————————————
    Lancelot 提出的正則<div[^>]*>([\s\S]*?)</div>  或<div>([\s\S]*?)</div>
    由于沒有分支條件,因此大大減少了正則匹配過程的回溯深度。因此成功解決了這一問題。
    目前能和大家分享的是,如果遇到類似問題還需簡化正則,減少分支條件等。
    如果您有更好的方案歡迎您提出寶貴的建議。

    posted @ 2011-04-28 10:55 scorpio小蝎 閱讀(4883) | 評論 (12)編輯 收藏

    java 枚舉學習--從小程序中學習

     

    Java 枚舉類型 解析

    簡介:java中枚舉是一個類

    用之前我覺得還是要知道應該何時使用:

    一條普遍的規律是,任何使用常量的地方,例如目前使用的switch 代碼切換的地方。 如果只是單獨一個值(例如, max min)這類只要把任務留給常量就行。但是如果定義了一組值,而這些值中的任何一個都可以用于特定的數據類型,那么將枚舉用在這個地方最適合不過。

    Java 代碼

    1. public enum Color{   
    2.     RED,BLUE,BLACK,YELLOW,GREEN   
    3. }  

    從這里看到Enum 是一個類。 而這些類都是類庫中enum的子類。

    Java中已有的enum Color 枚舉類。Color c=Color.RED;這些都是public static final

    既然枚舉類是class,當然在枚舉類中有構造器,方法和數據域。但是它是特殊的構造函數。(不深入研究,只應用)

    枚舉中常見的方法

    Ordinal();返回枚舉值在枚舉類種的順序。這個順序根據枚舉值聲明的順序而定。
                     Color.RED.ordinal();  //返回結果:0
                     Color.BLUE.ordinal();  //返回結果:1
    compareTo()方法: Enum實現了java.lang.Comparable接口,因此可以比較象與指定對象的順序。Enum中的compareTo返回的是兩個枚舉值的順序之差。當然,前提是兩個枚舉值必須屬于同一個枚舉類,否則會拋出ClassCastException()異常。(具體可見源代碼)
                     Color.RED.compareTo(Color.BLUE);  //返回結果 -1
    values()方法: 靜態方法,返回一個包含全部枚舉值的數組。
                     Color[] colors=Color.values();
                     for(Color c:colors){
                            System.out.print(c+",");
                     }//返回結果:RED,BLUE,BLACK YELLOW,GREEN,
    toString()方法: 返回枚舉常量的名稱。
                     Color c=Color.RED;
                     System.out.println(c);//返回結果: RED
    valueOf()方法: 這個方法和toString方法是相對應的,返回帶指定名稱的指定枚舉類型的枚舉常量。
                     Color.valueOf("BLUE");   //返回結果: Color.BLUE
    equals()方法: 比較兩個枚舉類對象的引用。

    枚舉類的具體應用

    枚舉類可以在switch語句中使用

    1. Color color=Color.RED;   
    2. switch(color){   
    3.         case RED: System.out.println("it's red");break;   
    4.         case BLUE: System.out.println("it's blue");break;   
    5.         case BLACK: System.out.println("it's blue");break;   
    6. }  

    -----------------------java枚舉學習心得從小程序出發 ---------------------------

    基本的enum特性

    publicclass Test {

        /**

         * @param args

         */

        enum Shrubbery {

           GROUND, GRAWLING, HANGING

        }

    /**

     * 枚舉類的基礎知識

     */

    publicstatic void bKOfEmun(){

       

        for (Shrubbery s : Shrubbery.values()) {

           // ordinal() 返回枚舉中的位置GROUND 0 位置

           System.out.println(s + "ordinal" + s.ordinal());// 名稱+位置信息

           // compareto比較枚舉類型按照 ordinal的值比較-1 0 1

           System.out.print(s.compareTo(Shrubbery.GRAWLING) + " ");

           // equals == 看枚舉值是否相同

           System.out.print(s.equals(Shrubbery.GRAWLING) + " ");

           System.out.println(s == Shrubbery.GRAWLING);

           // 返回枚舉所在的類的名稱。

           System.out.println(s.getDeclaringClass());

           // name()相當于tostring()返回枚舉的值

           System.out.println(s.name());

           System.out.println("-----------------------");

        }

        for (String s : "HANGING GRAWLING GROUND".split(" ")) {

           // valueof 返回枚舉類中名稱為 s枚舉對象

           Shrubbery shrub = Enum.valueOf(Shrubbery.class, s);

           System.out.println(shrub);

        }

        for (Shrubbery s : Shrubbery.values()) {

           // ordinal() 返回枚舉中的位置GROUND 0 位置

           System.out.println(s + "ordinal" + s.ordinal());// 名稱+位置信息

           // compareto比較枚舉類型按照 ordinal的值比較-1 0 1

           System.out.print(s.compareTo(Shrubbery.GRAWLING) + " ");

           // equals == 看枚舉值是否相同

           System.out.print(s.equals(Shrubbery.GRAWLING) + " ");

           System.out.println(s == Shrubbery.GRAWLING);

           // 返回枚舉所在的類的名稱。

           System.out.println(s.getDeclaringClass());

           // name()相當于tostring()返回枚舉的值

           System.out.println(s.name());

           System.out.println("-----------------------");

        }

        for (String s : "HANGING GRAWLING GROUND".split(" ")) {

           // valueof 返回枚舉類中名稱為 s枚舉對象

           Shrubbery shrub = Enum.valueOf(Shrubbery.class, s);

           System.out.println(shrub);

        }

    }

    publicstaticvoid main(String[] args) {

        // TODO Auto-generated method stub

    bKOfEmun();//枚舉類的基礎知識

    }

    }

     

    枚舉中填入方法

    一般說來我們希望每個枚舉實例能夠返回對自身的描述,而不僅僅是默認toString()實現,這只能返回枚舉實例的名字。為此我們可以提供一個構造器,專門負責處理這個額外的信息,然后添加一個方法,返回這個描述信息。

    構造過程如下

    首先 建立枚舉

    publicenum OzWitch {

    WEST,NORTH,EAST,SOUTH

    }

    然后創建描述信息

    publicenum OzWitch {

    WEST,NORTH,EAST,SOUTH;//注意分號

    private String description;//描述信息

    public String getDescription() {

        returndescription;

    }

    publicstaticvoid main(String[] args) {

       

    }

    }

    創建構造器

    publicenum OzWitch {

    WEST("1111"),NORTH("2222"),EAST("3333"),SOUTH("4444");//注意分號

    private String description;//描述信息

    OzWitch(String description) {//注意只能為 private 這里與正常類的構造函數有區別

        this.description=description;

    }

    public String getDescription() {

        returndescription;

    }

    publicstaticvoid main(String[] args) {

        for(OzWitch o:OzWitch.values()){

          

           System.out.println(o.name()+":"+o.getDescription());

          

        }

    }

    }

    覆蓋enum方法:此程序目的在于把枚舉對象的首字母保留大寫,其余小寫

    publicenum SpaceShip {

           SCOUT,CARGO,TRANSPORT,CRUISER,BATTLESHIP,MOTHERSHIP;

       

           @Override

           public String toString() {

               // TODO Auto-generated method stub

               String id=name();

               String lower=name().substring(1).toLowerCase();

               return id.charAt(0)+lower;

           }

           publicstaticvoid main(String[] args) {

               for(SpaceShip s:SpaceShip.values()){

                 

                  System.out.println(s);

               }

           }

    }

    posted @ 2011-03-02 20:32 scorpio小蝎 閱讀(2052) | 評論 (0)編輯 收藏

    正則表達式三十分鐘入門(本文轉自http://deerchao.net/tutorials/regex/regex.htm)感謝作者 deerchao

         摘要:   正則表達式學習筆記 首先推薦一篇入門文章:http://deerchao.net/tutorials/regex/regex.htm#mission 感謝作者 下面先對本文章做一下筆記: 1、 正則表達式是什么:處理字符串的有效工具。 2、 從例子開始學習正則: ...  閱讀全文

    posted @ 2011-02-24 14:49 scorpio小蝎 閱讀(821) | 評論 (0)編輯 收藏

    實現簡單的 hosts 添加和刪除工具

         摘要: C# hosts 修改  閱讀全文

    posted @ 2011-02-21 00:01 scorpio小蝎 閱讀(1066) | 評論 (0)編輯 收藏

    <2011年2月>
    303112345
    6789101112
    13141516171819
    20212223242526
    272812345
    6789101112

    導航

    統計

    常用鏈接

    留言簿

    隨筆分類

    隨筆檔案

    友情鏈接

    搜索

    最新評論

    閱讀排行榜

    評論排行榜

    主站蜘蛛池模板: 免费一区二区三区| 亚洲精品色播一区二区| 亚洲av无码一区二区三区乱子伦 | 中国精品一级毛片免费播放| 免费国产污网站在线观看不要卡| 久久久久久亚洲av无码蜜芽| 亚洲国产精华液2020| 亚洲乱妇熟女爽到高潮的片| 午夜理伦剧场免费| 日本不卡免费新一区二区三区| 野花香在线视频免费观看大全| a毛片全部免费播放| 永久免费不卡在线观看黄网站| 国产免费拔擦拔擦8X高清在线人| 国产精品免费一区二区三区四区| 日本免费一区二区三区| 18观看免费永久视频| 一个人免费观看www视频在线| 最新猫咪www免费人成| 国产成人免费A在线视频| 亚洲国产精品激情在线观看| 亚洲午夜久久久久久久久电影网 | 国产1024精品视频专区免费| 毛片高清视频在线看免费观看| 日韩高清免费在线观看| 亚洲人妻av伦理| 久久精品7亚洲午夜a| 亚洲综合激情九月婷婷| 2020天堂在线亚洲精品专区| 亚洲国产精品成人AV在线| 国产免费黄色无码视频| 99久久免费看国产精品| 最新中文字幕免费视频| 亚洲国产成人久久精品99| 久久亚洲精品成人| 亚洲自偷自偷在线成人网站传媒| 人人爽人人爽人人片av免费| 久久午夜无码免费| 国产成人免费一区二区三区| 好看的亚洲黄色经典| 亚洲人成网站看在线播放|