TextMining02-特征提取.pdf
分詞	最大匹配法..	分詞歧義和各種數字，日期，姓名識別
	最大概率法
	最短路徑法
詞性標注	基于規則的詞性標注
	基于統計的詞性標注（及缺陷）
文檔模型	布爾模型
	向量空間模型（tf-idf）
	文檔概率模型
文本相似性計算	基于概率模型的相似度（Okapi收費）
	基于vsm的相似度計算 （基于內積，和集合相似度計算的比較）	歐氏距離
		向量內積相似度
		余弦相似度
		Jaccard相似度
文本序列	海明距離
	編輯距離
	編輯操作的代價（算法）
特征空間的變化	LSA隱形語義分析
	SVD思想、步驟。（truncated）
	SVD實例和工具

 

 

PS:
海明距離在文本序列的相似度比較上會比較有用。


海明距離。通常一幀包括m個數據（報文）位和r個冗余位或者校驗位。設整個長度為n（即n=m+r），則此長度為n的單元通常被稱作n位碼字(codeword)。

給出任意兩個碼字，如10001001和10110001，可以確定它們有多少個對應位不同。在此例中有3位不同。為了確定有多少位不同，只須對兩個碼字 做異或運算，然后計算結果中1的個數。兩個碼字中不同位的個數，稱為海明距離(Hamming Distance)。其重要性在于，假如兩個碼字具有海明距離d，則需要d個位差錯才能將其中一個碼字轉換成另一個。
     一種編碼的校驗和糾錯能力取決于它的海明距離。為檢測出d比特錯，需要使用d+1的編碼；因為d個單比特錯決不可能將一個有效的碼 字轉變成另一個有效的碼字。當接收方看到無效的碼字，它糾能明白發生傳輸錯誤。同樣，為了糾正d比特錯，必須使用距離為2d+1的編碼，這是因為有效碼字 的距離遠到即使發生d個變化，這個發生了變化的碼字仍然比其它碼字都接近原始碼字。作為糾錯碼的一個簡單例子，考慮如下只有4個有效碼字的代碼： 0000000000、0000011111、1111100000和1111111111這種代碼的距離為5，也就是說，它能糾正雙比特錯。假如碼字 0000000111到達后，接收方知道原始碼字應該為0000011111。但是，如果出現了三位錯，而將0000000000變成了 0000000111，則差錯將不能正確地糾正。

http://www.tkk7.com/Files/fullfocus/featureselect.pdf