詞的文檔頻率(DF,
即一個(gè)詞在多少篇文檔中出現(xiàn))
雖然并不用于真正的特征選擇,
但是作為特征選擇前的預(yù)處理手段還是經(jīng)常被使用,
因?yàn)槌霈F(xiàn)次數(shù)太少的詞(
低頻詞,
或者叫生僻詞)
往往是表意能力很差的詞,
更極端的情況下,
那種在幾萬(wàn)篇文檔中卻只出現(xiàn)幾次的詞更有可能是作者的筆誤(
即創(chuàng)造了一個(gè)不存在的詞),
使用它的更大好處還在于可以大大消減文檔集中需要處理的詞匯數(shù)量.
請(qǐng)看以下的數(shù)據(jù),
在上一篇文章中對(duì)復(fù)旦語(yǔ)料庫(kù)進(jìn)行分詞,
去停止詞,
去無(wú)用詞性的詞的基礎(chǔ)上,
再進(jìn)行一次根據(jù)DF
的處理,
去除所有文檔頻率小于等于3
的詞,
得到的對(duì)比結(jié)果如下.
|
文檔頻率篩選前
|
文檔頻率篩選后
|
|
總詞數(shù)116558
類(lèi)別名稱(chēng)：Agriculture
總詞數(shù)：29163
類(lèi)別名稱(chēng)：Art
總詞數(shù)：40816
類(lèi)別名稱(chēng)：Communication
總詞數(shù)：2283
類(lèi)別名稱(chēng)：Computer
總詞數(shù)：19340
類(lèi)別名稱(chēng)：Economy
總詞數(shù)：37021
類(lèi)別名稱(chēng)：Education
總詞數(shù)：5719
類(lèi)別名稱(chēng)：Electronics
總詞數(shù)：2693
類(lèi)別名稱(chēng)：Energy
總詞數(shù)：2848
類(lèi)別名稱(chēng)：Environment
總詞數(shù)：25155
類(lèi)別名稱(chēng)：History
總詞數(shù)：47205
類(lèi)別名稱(chēng)：Law
總詞數(shù)：3834
類(lèi)別名稱(chēng)：Literature
總詞數(shù)：5844
類(lèi)別名稱(chēng)：Medical
總詞數(shù)：3877
類(lèi)別名稱(chēng)：Military
總詞數(shù)：4615
類(lèi)別名稱(chēng)：Mine
總詞數(shù)：3708
類(lèi)別名稱(chēng)：Philosophy
總詞數(shù)：5190
類(lèi)別名稱(chēng)：Politics
總詞數(shù)：35292
類(lèi)別名稱(chēng)：Space
總詞數(shù)：14557
類(lèi)別名稱(chēng)：Sports
總詞數(shù)：42665
類(lèi)別名稱(chēng)：Transport
總詞數(shù)：4644
|
總詞數(shù)50283
類(lèi)別名稱(chēng)：Agriculture
總詞數(shù)：23258
類(lèi)別名稱(chēng)：Art
總詞數(shù)：30899
類(lèi)別名稱(chēng)：Communication
總詞數(shù)：2207
類(lèi)別名稱(chēng)：Computer
總詞數(shù)：15545
類(lèi)別名稱(chēng)：Economy
總詞數(shù)：28363
類(lèi)別名稱(chēng)：Education
總詞數(shù)：5437
類(lèi)別名稱(chēng)：Electronics
總詞數(shù)：2604
類(lèi)別名稱(chēng)：Energy
總詞數(shù)：2702
類(lèi)別名稱(chēng)：Environment
總詞數(shù)：19781
類(lèi)別名稱(chēng)：History
總詞數(shù)：31436
類(lèi)別名稱(chēng)：Law
總詞數(shù)：3656
類(lèi)別名稱(chēng)：Literature
總詞數(shù)：5500
類(lèi)別名稱(chēng)：Medical
總詞數(shù)：3566
類(lèi)別名稱(chēng)：Military
總詞數(shù)：4256
類(lèi)別名稱(chēng)：Mine
總詞數(shù)：3507
類(lèi)別名稱(chēng)：Philosophy
總詞數(shù)：4968
類(lèi)別名稱(chēng)：Politics
總詞數(shù)：26046
類(lèi)別名稱(chēng)：Space
總詞數(shù)：12136
類(lèi)別名稱(chēng)：Sports
總詞數(shù)：30803
類(lèi)別名稱(chēng)：Transport
總詞數(shù)：4276
|
怎么樣?總詞數(shù)從116558下降到50283,減少了一多半.可見(jiàn)生僻詞還是廣泛存在的.而具體到各個(gè)類(lèi)別上也各不相同.減少的比較少的典型類(lèi)別例如法律類(lèi),僅僅消減掉了4.6%的詞匯,而歷史類(lèi)整整去除了33.4%!這倒也不難想象,因?yàn)榉筛拍钜话阌袠?biāo)準(zhǔn)的名稱(chēng)和說(shuō)法,文章也都有通用的格式或成文的套路遵循,作者本身發(fā)揮的余地不大.而歷史類(lèi)文章包含大量的人名地名和事件名稱(chēng),這些名稱(chēng)出現(xiàn)數(shù)量多但每一個(gè)出現(xiàn)的次數(shù)相對(duì)較少,而同時(shí)人名地名也很難作為區(qū)分文章主題的依據(jù)(出現(xiàn)”諸葛”就一定是說(shuō)三國(guó)時(shí)期的事情么?我們計(jì)算所有位老師就姓諸葛,還恰好是搞自然語(yǔ)言處理方面的,呵呵),篩掉它們我們也不心疼.
有了這一步處理,又可以為開(kāi)方檢驗(yàn)的計(jì)算增添不少方便.
（音樂(lè)再次響起，幕布再次緩慢拉上，燈光漸暗）