<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    隨筆-26  評論-111  文章-19  trackbacks-0
    ????
    ?????????? 最近因為工作太忙的原因,一直沒有時間來更新,現(xiàn)在放出2.1的版本(包含最新的源代碼)。

    ??????? 下載地址:
    ?????????????????????????snoics-reptile2.1.part1.rar
    ?????????????????????????snoics-reptile2.1.part2.rar
    ?????????????????????????snoics-reptile2.1.part3.rar
    ?????????????????????????snoics-reptile2.1.part4.rar

    ????????? (大家有什么意見可以在這里提出,只要有時間,我會盡量更新,有什么建議可以在blog里面提出,或者加我的MSN一起討論。? ^_^ )

    版本歷史

    2.1:

    1、不用再配置snoics-configpath.xml中的路徑。
    2、定時自動保存Cache
    3、修改了一些Bug
    2.0:

    核心代碼全部重寫,增加了擴展性,通過擴展之后,基本上能實現(xiàn)對整個網(wǎng)站完整的解析

    1.0:

    實現(xiàn)了整站抓取的基本的功能,不能解析特殊的URL,對javascript無法辨認
    posted on 2006-10-27 21:05 snoics 閱讀(4824) 評論(21)  編輯  收藏

    評論:
    # re: snoics-reptile 網(wǎng)頁爬蟲2.1 (2006-10-27日更新) 2006-10-27 22:35 | weidagang2046
    有沒有文檔之類的?  回復  更多評論
      
    # re: snoics-reptile 網(wǎng)頁爬蟲2.1 (2006-10-27日更新) 2006-10-31 15:59 | 捕風
    只能抓起靜態(tài)頁面嗎?
    存不存在防火墻穿越不了的問題?  回復  更多評論
      
    # re: snoics-reptile 網(wǎng)頁爬蟲2.1 (2006-10-27日更新) 2006-12-14 13:47 | 葉建輝
    snoics.jar 的原代碼好象沒有?yejianhui425@126.com

    yejianhui423@hotmail.com 您的MSN是多少?  回復  更多評論
      
    # re: snoics-reptile 網(wǎng)頁爬蟲2.1 (2006-10-27日更新) 2007-04-21 18:56 | zx
    好像缺少com.snoics.base和com.snoics.useclass的代碼  回復  更多評論
      
    # re: snoics-reptile 網(wǎng)頁爬蟲2.1 (2006-10-27日更新) 2007-05-09 14:45 | 游客
    局域網(wǎng)內(nèi)可以使用嗎?
    支持NTLM域認證嗎?  回復  更多評論
      
    # re: snoics-reptile 網(wǎng)頁爬蟲2.1 (2006-10-27日更新) 2007-06-14 09:51 | 雨夜
    不行哦,怎么還是報MAIN的意外錯誤,請麻煩給解釋下,問題出在哪,RUN.BAT文件也沒有JAR名字的錯誤哦,謝謝!  回復  更多評論
      
    # re: snoics-reptile 網(wǎng)頁爬蟲2.1 (2006-10-27日更新) 2007-07-12 21:10 | 楊鑄
    最新版本怎么使用他啊,謝謝,
    需要注意那些問題!  回復  更多評論
      
    # re: snoics-reptile 網(wǎng)頁爬蟲2.1 (2006-10-27日更新) 2007-08-01 23:30 | ava
    new  回復  更多評論
      
    # re: snoics-reptile 網(wǎng)頁爬蟲2.1 (2006-10-27日更新) 2008-01-25 09:51 | xiao
    還有沒有最新版本.老大,能加msn嗎.xrb2008@hotmail.com  回復  更多評論
      
    # re: snoics-reptile 網(wǎng)頁爬蟲2.1 (2006-10-27日更新) 2008-03-26 15:27 |
    能指導一下這東西怎么用嘛  回復  更多評論
      
    # re: snoics-reptile 網(wǎng)頁爬蟲2.1 (2006-10-27日更新) 2008-07-07 13:27 | xmf
    能不能出份教程啊。要不你的搞得這個也浪費了,好多人想用都不會用。  回復  更多評論
      
    # re: snoics-reptile 網(wǎng)頁爬蟲2.1 (2006-10-27日更新)[未登錄] 2008-07-27 12:44 | 菜鳥
    還行,就是效率太低,可以考慮優(yōu)化下算法。沒看樓主的底層代碼,不過通過抓到的結(jié)果可以看出,文件的抓取完全是靠鏈接來抓取的,個人認為可以通過文件夾抓取,也就是說進入一個鏈接時,獲得頂層文件夾,通過遞歸把該鏈接各層文件夾的文件全部抓取出來,一個網(wǎng)站也就幾分鐘就搞定了,而我今天花了一上午都還在抓  回復  更多評論
      
    # re: snoics-reptile 網(wǎng)頁爬蟲2.1 (2006-10-27日更新)[未登錄] 2008-09-10 17:55 |
    請問一下樓主的Spider中對js的處理中是哪些代碼啊?
      回復  更多評論
      
    # re: snoics-reptile 網(wǎng)頁爬蟲2.1 (2006-10-27日更新) 2008-11-12 11:09 | softwater
    很感謝你的這套源碼,在與之類似的一些二次開發(fā)中,我借鑒了很多有用的東西,樓主的MSN是多少?有機會我想請教一些問題,另外可否提供Snoics.jar的原代碼?謝謝  回復  更多評論
      
    # re: snoics-reptile 網(wǎng)頁爬蟲2.1 (2006-10-27日更新)[未登錄] 2008-12-17 13:05 | Joe
    試了一下,果然可以了,多謝分享  回復  更多評論
      
    # re: snoics-reptile 網(wǎng)頁爬蟲2.1 (2006-10-27日更新) 2009-05-13 15:22 | dadbxh365
    不會用  回復  更多評論
      
    # re: snoics-reptile 網(wǎng)頁爬蟲2.1 (2006-10-27日更新) 2009-12-23 13:53 | xiaodao
    請問如果要連續(xù)抓取多個站點的頁面,怎么實現(xiàn)呢?  回復  更多評論
      
    # re: snoics-reptile 網(wǎng)頁爬蟲2.1 (2006-10-27日更新)[未登錄] 2012-04-17 09:19 | Sun
    我怎么運行不了?怎么配置呢,謝謝~~@Joe
      回復  更多評論
      
    # re: snoics-reptile 網(wǎng)頁爬蟲2.1 (2006-10-27日更新)[未登錄] 2012-04-17 09:52 | Sun
    麻煩可以幫我看一下這是什么問題嗎?
    Snoics Config Base Path :D:/Workspaces/MyEclipse 8.5/Sun/bin/
    Snoics spaceChar :\+
    Snoics Config Full Path :D:/Workspaces/MyEclipse 8.5/Sun/conf/
    java.net.MalformedURLException: unknown protocol: d
    at java.net.URL.<init>(URL.java:574)
    at java.net.URL.<init>(URL.java:464)
    at java.net.URL.<init>(URL.java:413)
    at com.sun.org.apache.xerces.internal.impl.XMLEntityManager.setupCurrentEntity(XMLEntityManager.java:650)
    at com.sun.org.apache.xerces.internal.impl.XMLVersionDetector.determineDocVersion(XMLVersionDetector.java:186)
    at com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse(XML11Configuration.java:771)
    at com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse(XML11Configuration.java:737)
    at com.sun.org.apache.xerces.internal.parsers.XMLParser.parse(XMLParser.java:107)
    at com.sun.org.apache.xerces.internal.parsers.DOMParser.parse(DOMParser.java:225)
    at com.sun.org.apache.xerces.internal.jaxp.DocumentBuilderImpl.parse(DocumentBuilderImpl.java:283)
    at javax.xml.parsers.DocumentBuilder.parse(DocumentBuilder.java:180)
    at com.snoics.base.xml.XMLFactory.getDocument(Unknown Source)
    at com.snoics.base.xml.XMLUtil.parseXMLFile(Unknown Source)
    at com.snoics.base.xml.ReadXml.parseXMLFile(Unknown Source)
    at com.snoics.system.conf.SystemConfig.setSystemConfigFile(Unknown Source)
    at com.snoics.system.conf.SystemConfigFileName.initConfigPath(Unknown Source)
    at com.snoics.system.conf.SystemConfigFileName.<init>(Unknown Source)
    at com.snoics.system.InitSystemImpl.<init>(Unknown Source)
    at com.snoics.system.Init.init(Unknown Source)
    at com.snoics.system.common.SystemCommonObjectImpl.getObject(Unknown Source)
    at com.snoics.useclass.SnoicsClass.getLog(Unknown Source)
    at com.snoics.reptile.main.Reptile.<init>(Reptile.java:34)
    at com.snoics.reptile.main.StartReptile.start(StartReptile.java:29)
    at com.snoics.reptile.main.NormalMain.main(NormalMain.java:13)
    java.lang.NullPointerException
    at com.snoics.base.xml.ReadXml.setCurrentNodeList(Unknown Source)
    at com.snoics.system.conf.SystemConfig.getDatabaseInfo(Unknown Source)
    at com.snoics.system.conf.SystemConfigFileName.initConfigPath(Unknown Source)
    at com.snoics.system.conf.SystemConfigFileName.<init>(Unknown Source)
    at com.snoics.system.InitSystemImpl.<init>(Unknown Source)
    at com.snoics.system.Init.init(Unknown Source)
    at com.snoics.system.common.SystemCommonObjectImpl.getObject(Unknown Source)
    at com.snoics.useclass.SnoicsClass.getLog(Unknown Source)
    at com.snoics.reptile.main.Reptile.<init>(Reptile.java:34)
    at com.snoics.reptile.main.StartReptile.start(StartReptile.java:29)
    at com.snoics.reptile.main.NormalMain.main(NormalMain.java:13)
    java.lang.NullPointerException
    at com.snoics.base.xml.ReadXml.getCurrentNodeListLength(Unknown Source)
    at com.snoics.system.conf.SystemConfig.getDatabaseInfo(Unknown Source)
    at com.snoics.system.conf.SystemConfigFileName.initConfigPath(Unknown Source)
    at com.snoics.system.conf.SystemConfigFileName.<init>(Unknown Source)
    at com.snoics.system.InitSystemImpl.<init>(Unknown Source)
    at com.snoics.system.Init.init(Unknown Source)
    at com.snoics.system.common.SystemCommonObjectImpl.getObject(Unknown Source)
    at com.snoics.useclass.SnoicsClass.getLog(Unknown Source)
    at com.snoics.reptile.main.Reptile.<init>(Reptile.java:34)
    at com.snoics.reptile.main.StartReptile.start(StartReptile.java:29)
    at com.snoics.reptile.main.NormalMain.main(NormalMain.java:13)
    Exception in thread "main" java.lang.NullPointerException
    at com.snoics.useclass.SnoicsClass.getLog(Unknown Source)
    at com.snoics.reptile.main.Reptile.<init>(Reptile.java:34)
    at com.snoics.reptile.main.StartReptile.start(StartReptile.java:29)
    at com.snoics.reptile.main.NormalMain.main(NormalMain.java:13)
    @菜鳥
      回復  更多評論
      
    # re: snoics-reptile 網(wǎng)頁爬蟲2.1 (2006-10-27日更新)[未登錄] 2012-11-20 14:14 | cherish
    @葉建輝
    發(fā)份snoics.jar的源碼哥們,我知道你搞到手了,嘿嘿。。。  回復  更多評論
      
    # re: snoics-reptile 網(wǎng)頁爬蟲2.1 (2006-10-27日更新)[未登錄] 2012-11-20 14:16 | cherish
    忘寫郵箱了, 630562556@qq.com 謝謝哥們。   回復  更多評論
      

    只有注冊用戶登錄后才能發(fā)表評論。


    網(wǎng)站導航:
     
    主站蜘蛛池模板: 国产大片免费观看中文字幕| 国产在线精品一区免费香蕉| 亚洲性色精品一区二区在线| 激情综合亚洲色婷婷五月APP| 亚洲一欧洲中文字幕在线| 亚洲国产成人在线视频| 亚洲AV无码国产精品色| 亚洲一本到无码av中文字幕| 亚洲国产乱码最新视频| 久久亚洲国产成人影院| 亚洲AV永久无码精品放毛片| 亚洲av综合日韩| 一级特黄a免费大片| 国产无遮挡无码视频免费软件| 免费毛片在线看不用播放器| 久久成人免费大片| 国产精品久久免费| 成人无码区免费视频观看| 日韩人妻无码免费视频一区二区三区| 日本视频免费在线| AV在线亚洲男人的天堂| 亚洲韩国精品无码一区二区三区| 亚洲AV永久无码精品| 亚洲激情电影在线| 亚洲精品无码不卡在线播放| 黄页网站在线观看免费| aa在线免费观看| 99热在线精品免费播放6| 国产成人A在线观看视频免费| 国产极品美女高潮抽搐免费网站| 又粗又黄又猛又爽大片免费| 国产亚洲精品a在线观看| 亚洲第一区香蕉_国产a| 亚洲午夜在线播放| 九九久久精品国产免费看小说| a级日本高清免费看| 四虎在线视频免费观看视频| 国产免费人人看大香伊| 国产精品亚洲精品日韩已满| 亚洲婷婷综合色高清在线| 老湿机一区午夜精品免费福利|