文獻綜述
??? 第一部分?? 引言
?
基于數(shù)據(jù)的機器學(xué)習(xí)是現(xiàn)代智能技術(shù)中的重要方面, 研究從觀測數(shù)據(jù)(樣本) 出發(fā)尋找規(guī)律, 利用這些規(guī)律對未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進行預(yù)測. 包括模式識別、神經(jīng)網(wǎng)絡(luò)等在內(nèi), 現(xiàn)有機器學(xué)習(xí)方法共同的重要理論基礎(chǔ)之一是統(tǒng)計學(xué). 傳統(tǒng)統(tǒng)計學(xué)研究的是樣本數(shù)目趨于無窮大時的漸近理論, 現(xiàn)有學(xué)習(xí)方法也多是基于此假設(shè). 但在實際問題中, 樣本數(shù)往往是有限的, 因此一些理論上很優(yōu)秀的學(xué)習(xí)方法實際中表現(xiàn)卻可能不盡人意.與傳統(tǒng)統(tǒng)計學(xué)相比, 統(tǒng)計學(xué)習(xí)理論(Statistical Learning Theory，SLT) 是一種專門研究小樣本情況下機器學(xué)習(xí)規(guī)律的理論. Vapnik 等人從六、七十年代開始致力于此方面研究, 到九十年代中期, 隨著其理論的不斷發(fā)展和成熟, 也由于神經(jīng)網(wǎng)絡(luò)等學(xué)習(xí)方法在理論上缺乏實質(zhì)性進展, 統(tǒng)計學(xué)習(xí)理論開始受到越來越廣泛的重視.統(tǒng)計學(xué)習(xí)理論是建立在一套較堅實的理論基礎(chǔ)之上的, 為解決有限樣本學(xué)習(xí)問題提供了一個統(tǒng)一的框架. 它能將很多現(xiàn)有方法納入其中, 有望幫助解決許多原來難以解決的問題(比如神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇問題、局部極小點問題等) ; 同時, 在這一理論基礎(chǔ)上發(fā)展了一種新的通用學(xué)習(xí)方法——支持向量機(Support Vector Machine，SVM ) , 它已初步表現(xiàn)出很多優(yōu)于已有方法的性能. 一些學(xué)者認為, SLT和SVM 正在成為繼神經(jīng)網(wǎng)絡(luò)研究之后新的研究熱點, 并將有力地推動機器學(xué)習(xí)理論和技術(shù)的發(fā)展
我國早在八十年代末就有學(xué)者注意到統(tǒng)計學(xué)習(xí)理論的基礎(chǔ)成果, 但之后較少研究,目前只有少部分學(xué)者認識到這個重要的研究方向. 本文重點研究的多分類支持向量機至今還沒有突破性進展。
?
?
第二部分? 數(shù)據(jù)挖掘常用分類技術(shù)、算法
?
?
1、分類數(shù)據(jù)挖掘常用技術(shù)
分類作為數(shù)據(jù)挖掘中一項非常重要的任務(wù),目前在商業(yè)上應(yīng)用最多。分類的目的是學(xué)會一個分類函數(shù)或分類模型(也常常稱作分類器),該模型能把數(shù)據(jù)庫中的數(shù)據(jù)項映射到給定類別中的某一個，從而可以用于預(yù)測。目前，分類方法的研究成果較多，判別方法的好壞可以從三個方面進行：1）預(yù)測準(zhǔn)確度（對非樣本數(shù)據(jù)的判別準(zhǔn)確度）；2）計算復(fù)雜度（方法實現(xiàn)時對時間和空間的復(fù)雜度）；3)模式的簡潔度（在同樣效果情況下，希望決策樹小或規(guī)則少）。
??? 近年來，對數(shù)據(jù)挖掘中分類算法的研究是該領(lǐng)域中一個熱點，對不同分類方法都有許多對比研究成果。沒有一個分類方法在對所有數(shù)據(jù)集上進行分類學(xué)習(xí)均是最優(yōu)的。目前在數(shù)據(jù)挖掘軟件中運用的最早也是最多的分類算法是神經(jīng)網(wǎng)絡(luò)，它具有對非線性數(shù)據(jù)快速建模的能力，通過對訓(xùn)練集的反復(fù)學(xué)習(xí)來調(diào)節(jié)自身的網(wǎng)絡(luò)結(jié)構(gòu)和連接權(quán)值，并對未知的數(shù)據(jù)進行分類和預(yù)測。但是，神經(jīng)網(wǎng)絡(luò)從某種意義上說是一種啟發(fā)式的學(xué)習(xí)機，本身有很大經(jīng)驗的成分，為了克服傳統(tǒng)神經(jīng)網(wǎng)絡(luò)方面不可避免的難題，Vapnik提出了一種新的神經(jīng)網(wǎng)絡(luò)――支持向量機，并隨后提出了基于結(jié)構(gòu)風(fēng)險最小化思想的統(tǒng)計學(xué)習(xí)理論，正式奠定了SVM的理論基礎(chǔ)，鑒于SVM扎實的理論基礎(chǔ)
?
2、數(shù)據(jù)挖掘分類算法
（1）、判別分析
線性判別，KNN，Bayes判別，多元回歸分析，Rocchio法，距離函數(shù)法，支持向量機，勢函數(shù)法
（2）、機器學(xué)習(xí)
ID3決策樹，AQ11算法，Rough Sets
（3）、神經(jīng)網(wǎng)絡(luò)
（4）、支持向量機
?
?
?
第三部分? 支持向量機
?
1、支持向量機概述
?
V. Vapnik提出的支持向量機理論因其堅實的理論基礎(chǔ)和諸多良好特性在近年獲得了廣泛的關(guān)注。已經(jīng)有許多事實證明，作為支持向量機最基本思想之一的結(jié)構(gòu)化風(fēng)險最小化原則（Structural Risk Minimization, SRM ）要優(yōu)于傳統(tǒng)的經(jīng)驗風(fēng)險最小化原則（Empirical Risk Minimization, ERM）。不同于ERM試圖最小化訓(xùn)練集上的誤差的做法，SRM試圖最小化VC維的上界，從而使其學(xué)習(xí)機獲得了更好的推廣性能，這恰恰是統(tǒng)計學(xué)習(xí)理論最重要的目標(biāo)之一。支持向量機的主要應(yīng)用領(lǐng)域有模式識別、函數(shù)逼近和概率密度估計等等，本文的討論重點是使用支持向量機進行多分類的問題。
?
?
2、支持向量機相關(guān)討論：
(1)SVM的優(yōu)勢：
由于支持向量機方法是建立在統(tǒng)計學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險最小原理基礎(chǔ)上的，根據(jù)有限的樣本信息在模型的復(fù)雜性(即對特定訓(xùn)練樣本的學(xué)習(xí)精度，Accuracy)和學(xué)習(xí)能力(即無錯誤地識別任意樣本的能力)之間尋求最佳折衷，以期獲得最好的推廣能力(Generalizatin Ability)。支持向量機方法的幾個主要優(yōu)點是
可以解決小樣本情況下的機器學(xué)習(xí)問題
可以提高泛化性能
可以解決高維問題
可以解決非線性問題
可以避免神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇和局部極小點問題
?
(2)SVM的研究熱點
目前，SVM算法在很多領(lǐng)域都有應(yīng)用。例如，在模式識別方面，對于手寫數(shù)字識別、語音識別、人臉圖像識別、文章分類等問題，SVM算法在精度上已經(jīng)超過傳統(tǒng)的學(xué)習(xí)算法或與之不相上下。SVM主要有如下幾個研究熱點：
模式識別
回歸估計
概率密度估計
?
(3)SVM的主要核函數(shù)
多項式核: (gamma*u’*v + coef0)^degree
徑向基核（RBF）: exp(-gamma*|u-v|^2)
Sigmoid 核: tanh(gamma*u’*v + coef0)
?
(4)SVM的應(yīng)用
文本分類，人臉識別
三維物體識別，遙感圖像分析
函數(shù)逼近，時間序列預(yù)測
數(shù)據(jù)壓縮，優(yōu)化SVM算法
SVM改進方法（多分類擴展，用于多現(xiàn)實中的多分類問題）
SVM硬件實現(xiàn)
?
(5)SVM的難點
如何在非監(jiān)督模式識別問題中應(yīng)用統(tǒng)計學(xué)習(xí)理論（SLT）
如何用理論或?qū)嶒灥姆椒ㄓ嬎鉜C維
經(jīng)驗風(fēng)險和實際風(fēng)險之間的關(guān)系稱之為推廣性的界，但是當(dāng)(h/n)>0.37時（h—VC維，n—樣本數(shù)），推廣性的界是松弛的，如何尋找一個更好地反映學(xué)習(xí)機器能力的參數(shù)和得到更緊的界
實現(xiàn)結(jié)構(gòu)風(fēng)險最小化（SRM）時，如何選擇函數(shù)子集結(jié)構(gòu)
?
?
第四部分? 文獻概述
?
1.Principles of Data Mining
出版社：機械工業(yè)出版社,中信出版社
作者：David Hand? Heikki Mannila? Padhraic Smyth
翻譯：張銀奎，廖麗，宋俊
???????
本書講的是數(shù)據(jù)挖掘的原理，而不僅僅是應(yīng)用。介紹了常用的數(shù)據(jù)挖掘算法極其應(yīng)用所依賴的基本原理；在數(shù)據(jù)挖掘算法中系統(tǒng)討論了如何構(gòu)建求解特定問題的不同算法，如何用算法和原理來解決現(xiàn)實中的問題本書也做了深入討論。該書以統(tǒng)計學(xué)家的視角系統(tǒng)解析了數(shù)據(jù)挖掘技術(shù)所依賴的統(tǒng)計原理，應(yīng)用面向組件的思想，把數(shù)據(jù)挖掘算法分解為既相互聯(lián)系，又相對獨立的幾大組件：模型結(jié)構(gòu)、評分函數(shù)、搜索方法、數(shù)據(jù)管理技術(shù)。全書既具有極強的理論性，又不脫離實踐，對要求深入學(xué)習(xí)數(shù)據(jù)挖掘技術(shù)的人來講很有幫助。
?
?
?
2.一種新的基于二叉樹的SVM多類分類方法
源自：計算機應(yīng)用
作者：孟媛媛,劉希玉
發(fā)表時間：2005年11月
?
本文對幾種常用的支持向量機多類分類方法進行了分析和對比，分析其存在的問題和缺點。提出了一種基于二叉樹的支持向量機多類分類方法(BT2SVM) ,通過先聚類后分類的思想構(gòu)造最優(yōu)二叉樹結(jié)構(gòu)，并將基于核的自組織映射引入進行聚類,以提高分類精度,取得了不錯的效果。下面是本論文幾個重點論述的方面：
支持向量機多分類方法的理論基礎(chǔ)是：K分類問題( K > 2) 和兩類分類問題之間存在一定的對應(yīng)關(guān)系,如果一個分類問題K可分,則這K類中的任何兩類間一定可分;反之,在一個K分類問題中, 如果已知任意兩兩可分,則通過一定的組合法則,可由兩兩可分來最終實現(xiàn)K類可分。
常用的支持向量機多分類方法有1-v-r(One-versus-the rest Method),1-v-1(One-versus-one Method), DDAG SVMs(Decision Directed Acyclic Graph, DDAG)決策導(dǎo)向非循環(huán)圖。1-v-r,1-v-1由于其固有缺陷存在不可分區(qū)域 （如下圖），而DDAG SVMs 的優(yōu)點是推廣誤差只取決于類數(shù)k和結(jié)點上的類間間隙(Margin) ,而與輸入空間的維數(shù)無關(guān)。
凡是有該標(biāo)志的文章，都是該blog博主Caoer（草兒）原創(chuàng)，凡是索引、收藏
、轉(zhuǎn)載請注明來處和原文作者。非常感謝。