亚洲婷婷国产精品电影人久久,亚洲伊人久久大香线蕉在观,久久精品亚洲乱码伦伦中文

<rt id="bn8ez"></rt>

<label id="bn8ez"></label>

<span id="bn8ez"></span>

<label id="bn8ez"><meter id="bn8ez"></meter></label>

<sup id="yu66e"><dl id="yu66e"></dl></sup>

<abbr id="yu66e"></abbr><abbr id="yu66e"><rt id="yu66e"></rt></abbr><abbr id="yu66e"></abbr>

<abbr id="yu66e"><code id="yu66e"></code></abbr>

<cite id="yu66e"></cite><bdo id="yu66e"><dd id="yu66e"></dd></bdo>

隨筆-26 評(píng)論-111 文章-19 trackbacks-0

snoics-reptile 網(wǎng)頁(yè)爬蟲2.1 (2006-10-27日更新)

????
?????????? 最近因?yàn)楣ぷ魈Φ脑颍恢睕](méi)有時(shí)間來(lái)更新，現(xiàn)在放出2.1的版本（包含最新的源代碼）。

??????? 下載地址：
?????????????????????????snoics-reptile2.1.part1.rar
?????????????????????????snoics-reptile2.1.part2.rar
?????????????????????????snoics-reptile2.1.part3.rar
?????????????????????????snoics-reptile2.1.part4.rar

????????? （大家有什么意見(jiàn)可以在這里提出，只要有時(shí)間，我會(huì)盡量更新，有什么建議可以在blog里面提出，或者加我的MSN一起討論。? ^_^ ）

版本歷史
2.1：	1、不用再配置snoics-configpath.xml中的路徑。 2、定時(shí)自動(dòng)保存Cache 3、修改了一些Bug
2.0：	核心代碼全部重寫，增加了擴(kuò)展性，通過(guò)擴(kuò)展之后，基本上能實(shí)現(xiàn)對(duì)整個(gè)網(wǎng)站完整的解析
1.0：	實(shí)現(xiàn)了整站抓取的基本的功能，不能解析特殊的URL，對(duì)javascript無(wú)法辨認(rèn)

posted on 2006-10-27 21:05 snoics 閱讀(4823) 評(píng)論(21) 編輯收藏

評(píng)論:

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲2.1 (2006-10-27日更新) 2006-10-27 22:35 | weidagang2046

有沒(méi)有文檔之類的？回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲2.1 (2006-10-27日更新) 2006-10-31 15:59 | 捕風(fēng)

只能抓起靜態(tài)頁(yè)面嗎？
存不存在防火墻穿越不了的問(wèn)題？回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲2.1 (2006-10-27日更新) 2006-12-14 13:47 | 葉建輝

snoics.jar 的原代碼好象沒(méi)有？yejianhui425@126.com

yejianhui423@hotmail.com 您的MSN是多少？回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲2.1 (2006-10-27日更新) 2007-04-21 18:56 | zx

好像缺少com.snoics.base和com.snoics.useclass的代碼回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲2.1 (2006-10-27日更新) 2007-05-09 14:45 | 游客

局域網(wǎng)內(nèi)可以使用嗎？
支持NTLM域認(rèn)證嗎？回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲2.1 (2006-10-27日更新) 2007-06-14 09:51 | 雨夜

不行哦,怎么還是報(bào)MAIN的意外錯(cuò)誤,請(qǐng)麻煩給解釋下,問(wèn)題出在哪,RUN.BAT文件也沒(méi)有JAR名字的錯(cuò)誤哦,謝謝! 回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲2.1 (2006-10-27日更新) 2007-07-12 21:10 | 楊鑄

最新版本怎么使用他啊，謝謝，
需要注意那些問(wèn)題！回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲2.1 (2006-10-27日更新) 2007-08-01 23:30 | ava

new 回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲2.1 (2006-10-27日更新) 2008-01-25 09:51 | xiao

還有沒(méi)有最新版本.老大,能加msn嗎.xrb2008@hotmail.com 回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲2.1 (2006-10-27日更新) 2008-03-26 15:27 | 動(dòng)

能指導(dǎo)一下這東西怎么用嘛回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲2.1 (2006-10-27日更新) 2008-07-07 13:27 | xmf

能不能出份教程啊。要不你的搞得這個(gè)也浪費(fèi)了，好多人想用都不會(huì)用。回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲2.1 (2006-10-27日更新)[未登錄](méi) 2008-07-27 12:44 | 菜鳥

還行，就是效率太低，可以考慮優(yōu)化下算法。沒(méi)看樓主的底層代碼，不過(guò)通過(guò)抓到的結(jié)果可以看出，文件的抓取完全是靠鏈接來(lái)抓取的，個(gè)人認(rèn)為可以通過(guò)文件夾抓取，也就是說(shuō)進(jìn)入一個(gè)鏈接時(shí)，獲得頂層文件夾，通過(guò)遞歸把該鏈接各層文件夾的文件全部抓取出來(lái)，一個(gè)網(wǎng)站也就幾分鐘就搞定了，而我今天花了一上午都還在抓回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲2.1 (2006-10-27日更新)[未登錄](méi) 2008-09-10 17:55 | 我

請(qǐng)問(wèn)一下樓主的Spider中對(duì)js的處理中是哪些代碼啊？
回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲2.1 (2006-10-27日更新) 2008-11-12 11:09 | softwater

很感謝你的這套源碼，在與之類似的一些二次開發(fā)中，我借鑒了很多有用的東西，樓主的MSN是多少？有機(jī)會(huì)我想請(qǐng)教一些問(wèn)題，另外可否提供Snoics.jar的原代碼？謝謝回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲2.1 (2006-10-27日更新)[未登錄](méi) 2008-12-17 13:05 | Joe

試了一下，果然可以了，多謝分享回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲2.1 (2006-10-27日更新) 2009-05-13 15:22 | dadbxh365

不會(huì)用回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲2.1 (2006-10-27日更新) 2009-12-23 13:53 | xiaodao

請(qǐng)問(wèn)如果要連續(xù)抓取多個(gè)站點(diǎn)的頁(yè)面，怎么實(shí)現(xiàn)呢？回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲2.1 (2006-10-27日更新)[未登錄](méi) 2012-04-17 09:19 | Sun

我怎么運(yùn)行不了？怎么配置呢，謝謝~~@Joe
回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲2.1 (2006-10-27日更新)[未登錄](méi) 2012-04-17 09:52 | Sun

麻煩可以幫我看一下這是什么問(wèn)題嗎？
Snoics Config Base Path :D:/Workspaces/MyEclipse 8.5/Sun/bin/
Snoics spaceChar :\+
Snoics Config Full Path :D:/Workspaces/MyEclipse 8.5/Sun/conf/
java.net.MalformedURLException: unknown protocol: d
at java.net.URL.<init>(URL.java:574)
at java.net.URL.<init>(URL.java:464)
at java.net.URL.<init>(URL.java:413)
at com.sun.org.apache.xerces.internal.impl.XMLEntityManager.setupCurrentEntity(XMLEntityManager.java:650)
at com.sun.org.apache.xerces.internal.impl.XMLVersionDetector.determineDocVersion(XMLVersionDetector.java:186)
at com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse(XML11Configuration.java:771)
at com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse(XML11Configuration.java:737)
at com.sun.org.apache.xerces.internal.parsers.XMLParser.parse(XMLParser.java:107)
at com.sun.org.apache.xerces.internal.parsers.DOMParser.parse(DOMParser.java:225)
at com.sun.org.apache.xerces.internal.jaxp.DocumentBuilderImpl.parse(DocumentBuilderImpl.java:283)
at javax.xml.parsers.DocumentBuilder.parse(DocumentBuilder.java:180)
at com.snoics.base.xml.XMLFactory.getDocument(Unknown Source)
at com.snoics.base.xml.XMLUtil.parseXMLFile(Unknown Source)
at com.snoics.base.xml.ReadXml.parseXMLFile(Unknown Source)
at com.snoics.system.conf.SystemConfig.setSystemConfigFile(Unknown Source)
at com.snoics.system.conf.SystemConfigFileName.initConfigPath(Unknown Source)
at com.snoics.system.conf.SystemConfigFileName.<init>(Unknown Source)
at com.snoics.system.InitSystemImpl.<init>(Unknown Source)
at com.snoics.system.Init.init(Unknown Source)
at com.snoics.system.common.SystemCommonObjectImpl.getObject(Unknown Source)
at com.snoics.useclass.SnoicsClass.getLog(Unknown Source)
at com.snoics.reptile.main.Reptile.<init>(Reptile.java:34)
at com.snoics.reptile.main.StartReptile.start(StartReptile.java:29)
at com.snoics.reptile.main.NormalMain.main(NormalMain.java:13)
java.lang.NullPointerException
at com.snoics.base.xml.ReadXml.setCurrentNodeList(Unknown Source)
at com.snoics.system.conf.SystemConfig.getDatabaseInfo(Unknown Source)
at com.snoics.system.conf.SystemConfigFileName.initConfigPath(Unknown Source)
at com.snoics.system.conf.SystemConfigFileName.<init>(Unknown Source)
at com.snoics.system.InitSystemImpl.<init>(Unknown Source)
at com.snoics.system.Init.init(Unknown Source)
at com.snoics.system.common.SystemCommonObjectImpl.getObject(Unknown Source)
at com.snoics.useclass.SnoicsClass.getLog(Unknown Source)
at com.snoics.reptile.main.Reptile.<init>(Reptile.java:34)
at com.snoics.reptile.main.StartReptile.start(StartReptile.java:29)
at com.snoics.reptile.main.NormalMain.main(NormalMain.java:13)
java.lang.NullPointerException
at com.snoics.base.xml.ReadXml.getCurrentNodeListLength(Unknown Source)
at com.snoics.system.conf.SystemConfig.getDatabaseInfo(Unknown Source)
at com.snoics.system.conf.SystemConfigFileName.initConfigPath(Unknown Source)
at com.snoics.system.conf.SystemConfigFileName.<init>(Unknown Source)
at com.snoics.system.InitSystemImpl.<init>(Unknown Source)
at com.snoics.system.Init.init(Unknown Source)
at com.snoics.system.common.SystemCommonObjectImpl.getObject(Unknown Source)
at com.snoics.useclass.SnoicsClass.getLog(Unknown Source)
at com.snoics.reptile.main.Reptile.<init>(Reptile.java:34)
at com.snoics.reptile.main.StartReptile.start(StartReptile.java:29)
at com.snoics.reptile.main.NormalMain.main(NormalMain.java:13)
Exception in thread "main" java.lang.NullPointerException
at com.snoics.useclass.SnoicsClass.getLog(Unknown Source)
at com.snoics.reptile.main.Reptile.<init>(Reptile.java:34)
at com.snoics.reptile.main.StartReptile.start(StartReptile.java:29)
at com.snoics.reptile.main.NormalMain.main(NormalMain.java:13)
@菜鳥
回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲2.1 (2006-10-27日更新)[未登錄](méi) 2012-11-20 14:14 | cherish

@葉建輝
發(fā)份snoics.jar的源碼哥們，我知道你搞到手了，嘿嘿。。。回復(fù) 更多評(píng)論

# re: snoics-reptile 網(wǎng)頁(yè)爬蟲2.1 (2006-10-27日更新)[未登錄](méi) 2012-11-20 14:16 | cherish

忘寫郵箱了， 630562556@qq.com 謝謝哥們。回復(fù) 更多評(píng)論

新用戶注冊(cè) 刷新評(píng)論列表


只有注冊(cè)用戶登錄后才能發(fā)表評(píng)論。




網(wǎng)站導(dǎo)航: 博客園 IT新聞 Chat2DB C++博客博問(wèn) 管理

主站蜘蛛池模板：久久亚洲AV午夜福利精品一区| 国产在线播放线91免费| 久久精品国产亚洲AV大全| 免费观看日本污污ww网站一区| 久久久久久精品免费看SSS| 国产免费久久精品99久久| 亚洲欧美国产国产一区二区三区| 亚洲第一福利视频| 亚洲桃色AV无码| 亚洲国产精品综合久久一线| 全免费A级毛片免费看网站| 69免费视频大片| 中文字幕久精品免费视频| 日韩一区二区三区免费播放| 国产亚洲精品bv在线观看| 亚洲欧洲国产经精品香蕉网| 亚洲va无码专区国产乱码| 相泽亚洲一区中文字幕| 免费不卡中文字幕在线| 国产精品免费一级在线观看| 免费看国产精品3a黄的视频| 久久成人免费播放网站| 97在线视频免费公开视频| caoporm碰最新免费公开视频| 亚洲精品色在线网站| 亚洲av中文无码乱人伦在线观看 | 亚洲日本在线看片| 亚洲午夜久久久久久久久久| 亚洲性久久久影院| 亚洲国产精品成人一区| 亚洲av成人一区二区三区在线观看| 女性无套免费网站在线看| 最新中文字幕免费视频| 性色av免费观看| 免费看大黄高清网站视频在线| 24小时日本在线www免费的| 成年女人免费v片| 美女黄网站人色视频免费国产| 免费无码又爽又刺激毛片| 国产裸模视频免费区无码| 国产无遮挡又黄又爽免费视频|

<input id="04kq4"></input>

<cite id="04kq4"><tbody id="04kq4"></tbody></cite>

<strike id="04kq4"><tbody id="04kq4"></tbody></strike>