摘要: 解決搜索動(dòng)態(tài)內(nèi)容的問題：
需要注意在conf下面的2個(gè)文件：regex-urlfilter.txt，crawl-urlfilter.txt
# skip URLs containing certain characters as probable queries, etc.
-[?*!@=] （-改+）
這段意思是跳過在連接中存在? * ! @ = 的頁面，因?yàn)槟J(rèn)是跳過所以，在動(dòng)態(tài)頁中存在？一般按照默認(rèn)的是不能抓取到的。可以在上面2個(gè)文件中都修改成：
# skip URLs containing certain characters as probable queries, etc.
# -[?*!@=]
另外增加允許的一行
# accept URLs containing certain characters as probable queries, etc.
+[?=&]
意思是抓取時(shí)候允許抓取連接中帶 ? = & 這三個(gè)符號(hào)的連接
注意：兩個(gè)文件都需要修改，因?yàn)镹UTCH加載規(guī)則的順序是cr
閱讀全文