亚洲成a人片77777kkkk,在线A亚洲老鸭窝天堂,亚洲欧洲日产国码久在线

<rt id="bn8ez"></rt>

<label id="bn8ez"></label>

<span id="bn8ez"></span>

<label id="bn8ez"><meter id="bn8ez"></meter></label>

<label id="16111"><pre id="16111"><cite id="16111"></cite></pre></label>

<button id="16111"><ruby id="16111"></ruby></button>

隨筆-26 評(píng)論-111 文章-19 trackbacks-0

snoics-reptile 網(wǎng)頁(yè)爬蟲(chóng)2.1 (2006-10-27日更新)

????
?????????? 最近因?yàn)楣ぷ魈Φ脑颍恢睕](méi)有時(shí)間來(lái)更新，現(xiàn)在放出2.1的版本（包含最新的源代碼）。

??????? 下載地址：
?????????????????????????snoics-reptile2.1.part1.rar
?????????????????????????snoics-reptile2.1.part2.rar
?????????????????????????snoics-reptile2.1.part3.rar
?????????????????????????snoics-reptile2.1.part4.rar

????????? （大家有什么意見(jiàn)可以在這里提出，只要有時(shí)間，我會(huì)盡量更新，有什么建議可以在blog里面提出，或者加我的MSN一起討論。? ^_^ ）

版本歷史
2.1：	1、不用再配置snoics-configpath.xml中的路徑。 2、定時(shí)自動(dòng)保存Cache 3、修改了一些Bug
2.0：	核心代碼全部重寫(xiě)，增加了擴(kuò)展性，通過(guò)擴(kuò)展之后，基本上能實(shí)現(xiàn)對(duì)整個(gè)網(wǎng)站完整的解析
1.0：	實(shí)現(xiàn)了整站抓取的基本的功能，不能解析特殊的URL，對(duì)javascript無(wú)法辨認(rèn)

posted on 2006-10-27 21:05 snoics 閱讀(4824) 評(píng)論(21) 編輯收藏

評(píng)論:

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲(chóng)2.1 (2006-10-27日更新) 2006-10-27 22:35 | weidagang2046

有沒(méi)有文檔之類(lèi)的？回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲(chóng)2.1 (2006-10-27日更新) 2006-10-31 15:59 | 捕風(fēng)

只能抓起靜態(tài)頁(yè)面嗎？
存不存在防火墻穿越不了的問(wèn)題？回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲(chóng)2.1 (2006-10-27日更新) 2006-12-14 13:47 | 葉建輝

snoics.jar 的原代碼好象沒(méi)有？yejianhui425@126.com

yejianhui423@hotmail.com 您的MSN是多少？回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲(chóng)2.1 (2006-10-27日更新) 2007-04-21 18:56 | zx

好像缺少com.snoics.base和com.snoics.useclass的代碼回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲(chóng)2.1 (2006-10-27日更新) 2007-05-09 14:45 | 游客

局域網(wǎng)內(nèi)可以使用嗎？
支持NTLM域認(rèn)證嗎？回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲(chóng)2.1 (2006-10-27日更新) 2007-06-14 09:51 | 雨夜

不行哦,怎么還是報(bào)MAIN的意外錯(cuò)誤,請(qǐng)麻煩給解釋下,問(wèn)題出在哪,RUN.BAT文件也沒(méi)有JAR名字的錯(cuò)誤哦,謝謝! 回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲(chóng)2.1 (2006-10-27日更新) 2007-07-12 21:10 | 楊鑄

最新版本怎么使用他啊，謝謝，
需要注意那些問(wèn)題！回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲(chóng)2.1 (2006-10-27日更新) 2007-08-01 23:30 | ava

new 回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲(chóng)2.1 (2006-10-27日更新) 2008-01-25 09:51 | xiao

還有沒(méi)有最新版本.老大,能加msn嗎.xrb2008@hotmail.com 回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲(chóng)2.1 (2006-10-27日更新) 2008-03-26 15:27 | 動(dòng)

能指導(dǎo)一下這東西怎么用嘛回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲(chóng)2.1 (2006-10-27日更新) 2008-07-07 13:27 | xmf

能不能出份教程啊。要不你的搞得這個(gè)也浪費(fèi)了，好多人想用都不會(huì)用。回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲(chóng)2.1 (2006-10-27日更新)[未登錄](méi) 2008-07-27 12:44 | 菜鳥(niǎo)

還行，就是效率太低，可以考慮優(yōu)化下算法。沒(méi)看樓主的底層代碼，不過(guò)通過(guò)抓到的結(jié)果可以看出，文件的抓取完全是靠鏈接來(lái)抓取的，個(gè)人認(rèn)為可以通過(guò)文件夾抓取，也就是說(shuō)進(jìn)入一個(gè)鏈接時(shí)，獲得頂層文件夾，通過(guò)遞歸把該鏈接各層文件夾的文件全部抓取出來(lái)，一個(gè)網(wǎng)站也就幾分鐘就搞定了，而我今天花了一上午都還在抓回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲(chóng)2.1 (2006-10-27日更新)[未登錄](méi) 2008-09-10 17:55 | 我

請(qǐng)問(wèn)一下樓主的Spider中對(duì)js的處理中是哪些代碼啊？
回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲(chóng)2.1 (2006-10-27日更新) 2008-11-12 11:09 | softwater

很感謝你的這套源碼，在與之類(lèi)似的一些二次開(kāi)發(fā)中，我借鑒了很多有用的東西，樓主的MSN是多少？有機(jī)會(huì)我想請(qǐng)教一些問(wèn)題，另外可否提供Snoics.jar的原代碼？謝謝回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲(chóng)2.1 (2006-10-27日更新)[未登錄](méi) 2008-12-17 13:05 | Joe

試了一下，果然可以了，多謝分享回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲(chóng)2.1 (2006-10-27日更新) 2009-05-13 15:22 | dadbxh365

不會(huì)用回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲(chóng)2.1 (2006-10-27日更新) 2009-12-23 13:53 | xiaodao

請(qǐng)問(wèn)如果要連續(xù)抓取多個(gè)站點(diǎn)的頁(yè)面，怎么實(shí)現(xiàn)呢？回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲(chóng)2.1 (2006-10-27日更新)[未登錄](méi) 2012-04-17 09:19 | Sun

我怎么運(yùn)行不了？怎么配置呢，謝謝~~@Joe
回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲(chóng)2.1 (2006-10-27日更新)[未登錄](méi) 2012-04-17 09:52 | Sun

麻煩可以幫我看一下這是什么問(wèn)題嗎？
Snoics Config Base Path :D:/Workspaces/MyEclipse 8.5/Sun/bin/
Snoics spaceChar :\+
Snoics Config Full Path :D:/Workspaces/MyEclipse 8.5/Sun/conf/
java.net.MalformedURLException: unknown protocol: d
at java.net.URL.<init>(URL.java:574)
at java.net.URL.<init>(URL.java:464)
at java.net.URL.<init>(URL.java:413)
at com.sun.org.apache.xerces.internal.impl.XMLEntityManager.setupCurrentEntity(XMLEntityManager.java:650)
at com.sun.org.apache.xerces.internal.impl.XMLVersionDetector.determineDocVersion(XMLVersionDetector.java:186)
at com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse(XML11Configuration.java:771)
at com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse(XML11Configuration.java:737)
at com.sun.org.apache.xerces.internal.parsers.XMLParser.parse(XMLParser.java:107)
at com.sun.org.apache.xerces.internal.parsers.DOMParser.parse(DOMParser.java:225)
at com.sun.org.apache.xerces.internal.jaxp.DocumentBuilderImpl.parse(DocumentBuilderImpl.java:283)
at javax.xml.parsers.DocumentBuilder.parse(DocumentBuilder.java:180)
at com.snoics.base.xml.XMLFactory.getDocument(Unknown Source)
at com.snoics.base.xml.XMLUtil.parseXMLFile(Unknown Source)
at com.snoics.base.xml.ReadXml.parseXMLFile(Unknown Source)
at com.snoics.system.conf.SystemConfig.setSystemConfigFile(Unknown Source)
at com.snoics.system.conf.SystemConfigFileName.initConfigPath(Unknown Source)
at com.snoics.system.conf.SystemConfigFileName.<init>(Unknown Source)
at com.snoics.system.InitSystemImpl.<init>(Unknown Source)
at com.snoics.system.Init.init(Unknown Source)
at com.snoics.system.common.SystemCommonObjectImpl.getObject(Unknown Source)
at com.snoics.useclass.SnoicsClass.getLog(Unknown Source)
at com.snoics.reptile.main.Reptile.<init>(Reptile.java:34)
at com.snoics.reptile.main.StartReptile.start(StartReptile.java:29)
at com.snoics.reptile.main.NormalMain.main(NormalMain.java:13)
java.lang.NullPointerException
at com.snoics.base.xml.ReadXml.setCurrentNodeList(Unknown Source)
at com.snoics.system.conf.SystemConfig.getDatabaseInfo(Unknown Source)
at com.snoics.system.conf.SystemConfigFileName.initConfigPath(Unknown Source)
at com.snoics.system.conf.SystemConfigFileName.<init>(Unknown Source)
at com.snoics.system.InitSystemImpl.<init>(Unknown Source)
at com.snoics.system.Init.init(Unknown Source)
at com.snoics.system.common.SystemCommonObjectImpl.getObject(Unknown Source)
at com.snoics.useclass.SnoicsClass.getLog(Unknown Source)
at com.snoics.reptile.main.Reptile.<init>(Reptile.java:34)
at com.snoics.reptile.main.StartReptile.start(StartReptile.java:29)
at com.snoics.reptile.main.NormalMain.main(NormalMain.java:13)
java.lang.NullPointerException
at com.snoics.base.xml.ReadXml.getCurrentNodeListLength(Unknown Source)
at com.snoics.system.conf.SystemConfig.getDatabaseInfo(Unknown Source)
at com.snoics.system.conf.SystemConfigFileName.initConfigPath(Unknown Source)
at com.snoics.system.conf.SystemConfigFileName.<init>(Unknown Source)
at com.snoics.system.InitSystemImpl.<init>(Unknown Source)
at com.snoics.system.Init.init(Unknown Source)
at com.snoics.system.common.SystemCommonObjectImpl.getObject(Unknown Source)
at com.snoics.useclass.SnoicsClass.getLog(Unknown Source)
at com.snoics.reptile.main.Reptile.<init>(Reptile.java:34)
at com.snoics.reptile.main.StartReptile.start(StartReptile.java:29)
at com.snoics.reptile.main.NormalMain.main(NormalMain.java:13)
Exception in thread "main" java.lang.NullPointerException
at com.snoics.useclass.SnoicsClass.getLog(Unknown Source)
at com.snoics.reptile.main.Reptile.<init>(Reptile.java:34)
at com.snoics.reptile.main.StartReptile.start(StartReptile.java:29)
at com.snoics.reptile.main.NormalMain.main(NormalMain.java:13)
@菜鳥(niǎo)
回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲(chóng)2.1 (2006-10-27日更新)[未登錄](méi) 2012-11-20 14:14 | cherish

@葉建輝
發(fā)份snoics.jar的源碼哥們，我知道你搞到手了，嘿嘿。。。回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲(chóng)2.1 (2006-10-27日更新)[未登錄](méi) 2012-11-20 14:16 | cherish

忘寫(xiě)郵箱了， 630562556@qq.com 謝謝哥們。回復(fù) 更多評(píng)論

新用戶(hù)注冊(cè) 刷新評(píng)論列表


只有注冊(cè)用戶(hù)登錄后才能發(fā)表評(píng)論。




網(wǎng)站導(dǎo)航: 博客園 IT新聞 Chat2DB C++博客博問(wèn) 管理

主站蜘蛛池模板：亚洲熟妇无码一区二区三区| 好大好硬好爽免费视频| 亚洲最大福利视频| 亚洲精品成人无限看| 亚洲A∨午夜成人片精品网站| 两个人日本免费完整版在线观看1 两个人的视频www免费 | 最近最好的中文字幕2019免费| 久久美女网站免费| 两个人的视频www免费| 人妻无码中文字幕免费视频蜜桃| 亚洲AV无码专区在线观看成人| 亚洲免费人成视频观看| 亚洲欧洲日韩国产| 久久亚洲国产成人精品性色 | 91精品成人免费国产片| 人成电影网在线观看免费| 亚洲av无码专区在线观看亚| 亚洲伊人久久大香线焦| 亚洲成AV人片在线观看无| 亚洲伊人久久精品影院| 久久久久国产成人精品亚洲午夜| 四虎永久免费网站免费观看| 国产精品另类激情久久久免费| 在线观看无码的免费网站| 日本特黄特色aa大片免费| 国产性生交xxxxx免费| 亚洲区小说区图片区| 亚洲av无码一区二区三区不卡| 337p欧洲亚洲大胆艺术| 亚洲自偷自偷在线成人网站传媒 | 亚洲成年人免费网站| 亚洲中文字幕无码爆乳app| 国产成人亚洲午夜电影| 成人网站免费大全日韩国产| 99久久国产免费-99久久国产免费 99久久国产免费中文无字幕 | 亚洲午夜免费视频| 亚洲第一区二区快射影院| 污污视频网站免费观看| 久久精品中文字幕免费| 免费看美女被靠到爽| 国产91精品一区二区麻豆亚洲|

<output id="16616"><ruby id="16616"></ruby></output>

<label id="16616"></label>