<rt id="bn8ez"></rt>
<label id="bn8ez"></label>
  • 

    • <span id="bn8ez"></span>
    

    <label id="bn8ez"><meter id="bn8ez"></meter></label>
    

    
    

    




    







												


        




    
	
		
		
    

隨筆-26 
評論-111 
文章-19 
trackbacks-0

    
	

    

    
	
					


    
	
	???? 
    ?????????? 最近因?yàn)楣ぷ魈Φ脑颍恢睕]有時間來更新，現(xiàn)在放出2.1的版本（包含最新的源代碼）。

    ??????? 下載地址：
    ?????????????????????????snoics-reptile2.1.part1.rar
    ?????????????????????????snoics-reptile2.1.part2.rar
    ?????????????????????????snoics-reptile2.1.part3.rar
    ?????????????????????????snoics-reptile2.1.part4.rar

    ????????? （大家有什么意見可以在這里提出，只要有時間，我會盡量更新，有什么建議可以在blog里面提出，或者加我的MSN一起討論。? ^_^ ）

    版本歷史

    2.1：

    		1、不用再配置snoics-configpath.xml中的路徑。
    2、定時自動保存Cache
    3、修改了一些Bug
    2.0：

    		核心代碼全部重寫，增加了擴(kuò)展性，通過擴(kuò)展之后，基本上能實(shí)現(xiàn)對整個網(wǎng)站完整的解析

    1.0：

    		實(shí)現(xiàn)了整站抓取的基本的功能，不能解析特殊的URL，對javascript無法辨認(rèn)
    
	
    posted on 2006-10-27 21:05 snoics 閱讀(4821) 評論(21)  編輯  收藏  
    

    







    
	    
    


    
評論:

    
	

		
    
			
    
			# re: snoics-reptile 網(wǎng)頁爬蟲2.1   (2006-10-27日更新)
				2006-10-27 22:35 | weidagang2046
    
				
    有沒有文檔之類的？  回復(fù)  更多評論
      
    
			
    
			
			
		
    
	
		
    
			
    
			# re: snoics-reptile 網(wǎng)頁爬蟲2.1   (2006-10-27日更新)
				2006-10-31 15:59 | 捕風(fēng)
    
				
    只能抓起靜態(tài)頁面嗎？

    存不存在防火墻穿越不了的問題？  回復(fù)  更多評論
      
    
			
    
			
			
		
    
	
		
    
			
    
			# re: snoics-reptile 網(wǎng)頁爬蟲2.1   (2006-10-27日更新)
				2006-12-14 13:47 | 葉建輝
    
				
    snoics.jar 的原代碼好象沒有？yejianhui425@126.com

    

    yejianhui423@hotmail.com   您的MSN是多少？  回復(fù)  更多評論
      
    
			
    
			
			
		
    
	
		
    
			
    
			# re: snoics-reptile 網(wǎng)頁爬蟲2.1   (2006-10-27日更新)
				2007-04-21 18:56 | zx
    
				
    好像缺少com.snoics.base和com.snoics.useclass的代碼  回復(fù)  更多評論
      
    
			
    
			
			
		
    
	
		
    
			
    
			# re: snoics-reptile 網(wǎng)頁爬蟲2.1   (2006-10-27日更新)
				2007-05-09 14:45 | 游客
    
				
    局域網(wǎng)內(nèi)可以使用嗎？

    支持NTLM域認(rèn)證嗎？  回復(fù)  更多評論
      
    
			
    
			
			
		
    
	
		
    
			
    
			# re: snoics-reptile 網(wǎng)頁爬蟲2.1   (2006-10-27日更新)
				2007-06-14 09:51 | 雨夜
    
				
    不行哦,怎么還是報MAIN的意外錯誤,請麻煩給解釋下,問題出在哪,RUN.BAT文件也沒有JAR名字的錯誤哦,謝謝!  回復(fù)  更多評論
      
    
			
    
			
			
		
    
	
		
    
			
    
			# re: snoics-reptile 網(wǎng)頁爬蟲2.1   (2006-10-27日更新)
				2007-07-12 21:10 | 楊鑄
    
				
    最新版本怎么使用他啊，謝謝，

    需要注意那些問題！  回復(fù)  更多評論
      
    
			
    
			
			
		
    
	
		
    
			
    
			# re: snoics-reptile 網(wǎng)頁爬蟲2.1   (2006-10-27日更新)
				2007-08-01 23:30 | ava
    
				
			
    
			
			
		
    
	
		
    
			
    
			# re: snoics-reptile 網(wǎng)頁爬蟲2.1   (2006-10-27日更新)
				2008-01-25 09:51 | xiao
    
				
    還有沒有最新版本.老大,能加msn嗎.xrb2008@hotmail.com  回復(fù)  更多評論
      
    
			
    
			
			
		
    
	
		
    
			
    
			# re: snoics-reptile 網(wǎng)頁爬蟲2.1   (2006-10-27日更新)
				2008-03-26 15:27 | 動
    
				
    能指導(dǎo)一下這東西怎么用嘛  回復(fù)  更多評論
      
    
			
    
			
			
		
    
	
		
    
			
    
			# re: snoics-reptile 網(wǎng)頁爬蟲2.1   (2006-10-27日更新)
				2008-07-07 13:27 | xmf
    
				
    能不能出份教程啊。要不你的搞得這個也浪費(fèi)了，好多人想用都不會用。  回復(fù)  更多評論
      
    
			
    
			
			
		
    
	
		
    
			
    
			# re: snoics-reptile 網(wǎng)頁爬蟲2.1   (2006-10-27日更新)[未登錄]
				2008-07-27 12:44 | 菜鳥
    
				
    還行，就是效率太低，可以考慮優(yōu)化下算法。沒看樓主的底層代碼，不過通過抓到的結(jié)果可以看出，文件的抓取完全是靠鏈接來抓取的，個人認(rèn)為可以通過文件夾抓取，也就是說進(jìn)入一個鏈接時，獲得頂層文件夾，通過遞歸把該鏈接各層文件夾的文件全部抓取出來，一個網(wǎng)站也就幾分鐘就搞定了，而我今天花了一上午都還在抓  回復(fù)  更多評論
      
    
			
    
			
			
		
    
	
		
    
			
    
			# re: snoics-reptile 網(wǎng)頁爬蟲2.1   (2006-10-27日更新)[未登錄]
				2008-09-10 17:55 | 我
    
				
    請問一下樓主的Spider中對js的處理中是哪些代碼啊？

      回復(fù)  更多評論
      
    
			
    
			
			
		
    
	
		
    
			
    
			# re: snoics-reptile 網(wǎng)頁爬蟲2.1   (2006-10-27日更新)
				2008-11-12 11:09 | softwater
    
				
    很感謝你的這套源碼，在與之類似的一些二次開發(fā)中，我借鑒了很多有用的東西，樓主的MSN是多少？有機(jī)會我想請教一些問題，另外可否提供Snoics.jar的原代碼？謝謝  回復(fù)  更多評論
      
    
			
    
			
			
		
    
	
		
    
			
    
			# re: snoics-reptile 網(wǎng)頁爬蟲2.1   (2006-10-27日更新)[未登錄]
				2008-12-17 13:05 | Joe
    
				
    試了一下，果然可以了，多謝分享  回復(fù)  更多評論
      
    
			
    
			
			
		
    
	
		
    
			
    
			# re: snoics-reptile 網(wǎng)頁爬蟲2.1   (2006-10-27日更新)
				2009-05-13 15:22 | dadbxh365
    
				
    不會用  回復(fù)  更多評論
      
    
			
    
			
			
		
    
	
		
    
			
    
			# re: snoics-reptile 網(wǎng)頁爬蟲2.1   (2006-10-27日更新)
				2009-12-23 13:53 | xiaodao
    
				
    請問如果要連續(xù)抓取多個站點(diǎn)的頁面，怎么實(shí)現(xiàn)呢？  回復(fù)  更多評論
      
    
			
    
			
			
		
    
	
		
    
			
    
			# re: snoics-reptile 網(wǎng)頁爬蟲2.1   (2006-10-27日更新)[未登錄]
				2012-04-17 09:19 | Sun
    
				
    我怎么運(yùn)行不了？怎么配置呢，謝謝~~@Joe
      回復(fù)  更多評論
      
    
			
    
			
			
		
    
	
		
    
			
    
			# re: snoics-reptile 網(wǎng)頁爬蟲2.1   (2006-10-27日更新)[未登錄]
				2012-04-17 09:52 | Sun
    
				
    麻煩可以幫我看一下這是什么問題嗎？
    Snoics Config Base Path :D:/Workspaces/MyEclipse 8.5/Sun/bin/
    Snoics spaceChar :\+
    Snoics Config Full Path :D:/Workspaces/MyEclipse 8.5/Sun/conf/
    java.net.MalformedURLException: unknown protocol: d
    	at java.net.URL.<init>(URL.java:574)
    	at java.net.URL.<init>(URL.java:464)
    	at java.net.URL.<init>(URL.java:413)
    	at com.sun.org.apache.xerces.internal.impl.XMLEntityManager.setupCurrentEntity(XMLEntityManager.java:650)
    	at com.sun.org.apache.xerces.internal.impl.XMLVersionDetector.determineDocVersion(XMLVersionDetector.java:186)
    	at com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse(XML11Configuration.java:771)
    	at com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse(XML11Configuration.java:737)
    	at com.sun.org.apache.xerces.internal.parsers.XMLParser.parse(XMLParser.java:107)
    	at com.sun.org.apache.xerces.internal.parsers.DOMParser.parse(DOMParser.java:225)
    	at com.sun.org.apache.xerces.internal.jaxp.DocumentBuilderImpl.parse(DocumentBuilderImpl.java:283)
    	at javax.xml.parsers.DocumentBuilder.parse(DocumentBuilder.java:180)
    	at com.snoics.base.xml.XMLFactory.getDocument(Unknown Source)
    	at com.snoics.base.xml.XMLUtil.parseXMLFile(Unknown Source)
    	at com.snoics.base.xml.ReadXml.parseXMLFile(Unknown Source)
    	at com.snoics.system.conf.SystemConfig.setSystemConfigFile(Unknown Source)
    	at com.snoics.system.conf.SystemConfigFileName.initConfigPath(Unknown Source)
    	at com.snoics.system.conf.SystemConfigFileName.<init>(Unknown Source)
    	at com.snoics.system.InitSystemImpl.<init>(Unknown Source)
    	at com.snoics.system.Init.init(Unknown Source)
    	at com.snoics.system.common.SystemCommonObjectImpl.getObject(Unknown Source)
    	at com.snoics.useclass.SnoicsClass.getLog(Unknown Source)
    	at com.snoics.reptile.main.Reptile.<init>(Reptile.java:34)
    	at com.snoics.reptile.main.StartReptile.start(StartReptile.java:29)
    	at com.snoics.reptile.main.NormalMain.main(NormalMain.java:13)
    java.lang.NullPointerException
    	at com.snoics.base.xml.ReadXml.setCurrentNodeList(Unknown Source)
    	at com.snoics.system.conf.SystemConfig.getDatabaseInfo(Unknown Source)
    	at com.snoics.system.conf.SystemConfigFileName.initConfigPath(Unknown Source)
    	at com.snoics.system.conf.SystemConfigFileName.<init>(Unknown Source)
    	at com.snoics.system.InitSystemImpl.<init>(Unknown Source)
    	at com.snoics.system.Init.init(Unknown Source)
    	at com.snoics.system.common.SystemCommonObjectImpl.getObject(Unknown Source)
    	at com.snoics.useclass.SnoicsClass.getLog(Unknown Source)
    	at com.snoics.reptile.main.Reptile.<init>(Reptile.java:34)
    	at com.snoics.reptile.main.StartReptile.start(StartReptile.java:29)
    	at com.snoics.reptile.main.NormalMain.main(NormalMain.java:13)
    java.lang.NullPointerException
    	at com.snoics.base.xml.ReadXml.getCurrentNodeListLength(Unknown Source)
    	at com.snoics.system.conf.SystemConfig.getDatabaseInfo(Unknown Source)
    	at com.snoics.system.conf.SystemConfigFileName.initConfigPath(Unknown Source)
    	at com.snoics.system.conf.SystemConfigFileName.<init>(Unknown Source)
    	at com.snoics.system.InitSystemImpl.<init>(Unknown Source)
    	at com.snoics.system.Init.init(Unknown Source)
    	at com.snoics.system.common.SystemCommonObjectImpl.getObject(Unknown Source)
    	at com.snoics.useclass.SnoicsClass.getLog(Unknown Source)
    	at com.snoics.reptile.main.Reptile.<init>(Reptile.java:34)
    	at com.snoics.reptile.main.StartReptile.start(StartReptile.java:29)
    	at com.snoics.reptile.main.NormalMain.main(NormalMain.java:13)
    Exception in thread "main" java.lang.NullPointerException
    	at com.snoics.useclass.SnoicsClass.getLog(Unknown Source)
    	at com.snoics.reptile.main.Reptile.<init>(Reptile.java:34)
    	at com.snoics.reptile.main.StartReptile.start(StartReptile.java:29)
    	at com.snoics.reptile.main.NormalMain.main(NormalMain.java:13)
    @菜鳥
      回復(fù)  更多評論
      
    
			
    
			
			
		
    
	
		
    
			
    
			# re: snoics-reptile 網(wǎng)頁爬蟲2.1   (2006-10-27日更新)[未登錄]
				2012-11-20 14:14 | cherish
    
				
    @葉建輝

    發(fā)份snoics.jar的源碼哥們，我知道你搞到手了，嘿嘿。。。  回復(fù)  更多評論
      
    
			
    
			
			
		
    
	
		
    
			
    
			# re: snoics-reptile 網(wǎng)頁爬蟲2.1   (2006-10-27日更新)[未登錄]
				2012-11-20 14:16 | cherish
    
				
    忘寫郵箱了， 630562556@qq.com  謝謝哥們。   回復(fù)  更多評論
      
    
			
    
			
			
		
    
	








    





    


    

	
    
		
    
				
		
	
		
    
		
		
    只有注冊用戶登錄后才能發(fā)表評論。
    
		
    
			
		
    
			
		
    
		
		
    
		


    

		    		
		
    
		
    			
		
		
		
		
    
		
    
		
		
    
		
    
			網(wǎng)站導(dǎo)航:
		
		
    
		
    
			
		
    	
		
    
			 
		
    
		
    
			
		
    
		
    
			
				
		
    		
	
    	

    



    

				

    







    







    
        
	



主站蜘蛛池模板：
亚洲欧洲日产国码www|
亚洲精品第一国产综合境外资源|
国产国产人免费视频成69大陆|
精品国产日韩亚洲一区|
亚洲日韩中文字幕天堂不卡|
国产精品亚洲а∨无码播放不卡
|
亚洲精品无码久久久久久|
狠狠躁狠狠爱免费视频无码|
91在线视频免费播放|
中文字幕不卡亚洲
|
亚洲人成网站色在线观看|
a级毛片免费观看在线|
国产麻豆视频免费观看|
亚洲中文久久精品无码ww16|
亚洲AV男人的天堂在线观看|
三上悠亚电影全集免费|
日韩免费视频网站|
亚洲永久中文字幕在线|
国产精品免费αv视频|
夜夜爽免费888视频|
久久亚洲sm情趣捆绑调教
|
亚洲国产乱码最新视频|
十八禁在线观看视频播放免费|
日韩在线天堂免费观看|
蜜芽亚洲av无码精品色午夜|
一级**爱片免费视频|
成年人免费观看视频网站|
亚洲视频在线观看|
亚洲天堂免费在线视频|
国产精品免费视频播放器|
亚洲大香伊人蕉在人依线|
国产婷婷成人久久Av免费高清
|
久久乐国产精品亚洲综合|
久久综合亚洲色hezyo|
久久成人国产精品免费软件|
亚洲人成网7777777国产|
午夜不卡AV免费|
日韩在线视频免费看|
亚洲av一本岛在线播放|
中文字幕天天躁日日躁狠狠躁免费|
在线A亚洲老鸭窝天堂|