支持向量機(jī)是由Vapnik領(lǐng)導(dǎo)的AT&TBell實(shí)驗(yàn)室研究小組在1963年提出的一種新的非常有潛力的分類技術(shù)，SVM是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的模式識(shí)別方法，主要應(yīng)用于模式識(shí)別領(lǐng)域。由于當(dāng)時(shí)這些研究尚不十分完善，在解決模式識(shí)別問題中往往趨于保守，且數(shù)學(xué)上比較艱澀，這些研究一直沒有得到充分的重視。直到90年代，統(tǒng)計(jì)學(xué)習(xí)理論 （Statistical Learning Theory，SLT）的實(shí)現(xiàn)和由于神經(jīng)網(wǎng)絡(luò)等較新興的機(jī)器學(xué)習(xí)方法的研究遇到一些重要的困難，比如如何確定網(wǎng)絡(luò)結(jié)構(gòu)的問題、過學(xué)習(xí)與欠學(xué)習(xí)問題、局部極小點(diǎn)問題等，使得SVM迅速發(fā)展和完善，在解決小樣本、非線性及高維模式識(shí)別問題中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中。從此迅速的發(fā)展起來，現(xiàn)在已經(jīng)在許多領(lǐng)域（故障診斷、圖像識(shí)別、回歸預(yù)測等）都取得了成功的應(yīng)用。

　　目前特征選擇的方法主要有主成分分析法、熵原理、粗糙集理論等。然而由于這些方法主要依據(jù)繁復(fù)的數(shù)學(xué)理論，在計(jì)算過程中可能存在求導(dǎo)和函數(shù)連續(xù)性等客觀限定條件，在必要時(shí)還需要設(shè)定用來指導(dǎo)尋優(yōu)搜索方向的搜索規(guī)則。遺傳算法作為一種魯棒性極強(qiáng)的智能識(shí)別方法，直接對尋優(yōu)對象進(jìn)行操作，不存在特定數(shù)學(xué)條件的限定，具有極好的全局尋優(yōu)能力和并行性；而由于遺傳算法采用概率化的尋優(yōu)方法，所以在自動(dòng)搜索的過程中可以自主獲取與尋優(yōu)有關(guān)的線索，并在加以學(xué)習(xí)之后可以自適應(yīng)地調(diào)整搜索方向，不需要確定搜索的規(guī)則。因此遺傳算法被廣泛應(yīng)用在知識(shí)發(fā)現(xiàn)、組合優(yōu)化、機(jī)器學(xué)習(xí)、信號(hào)處理、自適應(yīng)控制和人工生命等領(lǐng)域。

　　基于改進(jìn)遺傳算法的特征選擇

　　遺傳算法（Genetic Algorithm）是一類借鑒生物界的進(jìn)化規(guī)律（適者生存，優(yōu)勝劣汰遺傳機(jī)制）演化而來的隨機(jī)化搜索方法。它是由美國的J.Holland教授1975年首先提出，其主要特點(diǎn)是直接對結(jié)構(gòu)對象進(jìn)行操作，不存在求導(dǎo)和函數(shù)連續(xù)性的限定；具有內(nèi)在的隱并行性和更好的全局尋優(yōu)能力；采用概率化的尋優(yōu)方法，能自動(dòng)獲取和指導(dǎo)優(yōu)化的搜索空間，自適應(yīng)地調(diào)整搜索方向，不需要確定的規(guī)則。遺傳算法的這些性質(zhì)，已被人們廣泛地應(yīng)用于組合優(yōu)化、機(jī)器學(xué)習(xí)、信號(hào)處理、自適應(yīng)控制和人工生命等領(lǐng)域。圖1中所示的是標(biāo)準(zhǔn)的遺傳算法的流程框圖。

　　傳統(tǒng)的遺傳算法存在早熟收斂、非全局收斂以及后期收斂速度慢的缺點(diǎn)，為此本文提出了一種能夠在進(jìn)化過程中自適應(yīng)調(diào)節(jié)變異率，以及利用模擬退火防止早熟的改進(jìn)遺傳算法，同時(shí)該算法利用敏感度信息可以有效地控制遺傳操作。圖2是改進(jìn)遺傳算法的流程框圖。

　　隨著應(yīng)用領(lǐng)域的擴(kuò)展，遺傳算法的研究出現(xiàn)了幾個(gè)引人注目的新動(dòng)向：一是基于遺傳算法的機(jī)器學(xué)習(xí)，這一新的研究課題把遺傳算法從歷來離散的搜索空間的優(yōu)化搜索算法擴(kuò)展到具有獨(dú)特的規(guī)則生成功能的嶄新的機(jī)器學(xué)習(xí)算法。這一新的學(xué)習(xí)機(jī)制對于解決人工智能中知識(shí)獲取和知識(shí)優(yōu)化精煉的瓶頸難題帶來了希望。二是遺傳算法正日益和神經(jīng)網(wǎng)絡(luò)、模糊推理以及混沌理論等其它智能計(jì)算方法相互滲透和結(jié)合，這對開拓21世紀(jì)中新的智能計(jì)算技術(shù)將具有重要的意義。三是并行處理的遺傳算法的研究十分活躍。這一研究不僅對遺傳算法本身的發(fā)展，而且對于新一代智能計(jì)算機(jī)體系結(jié)構(gòu)的研究都是十分重要的。四是遺傳算法和另一個(gè)稱為人工生命的嶄新研究領(lǐng)域正不斷滲透。所謂人工生命即是用計(jì)算機(jī)模擬自然界豐富多彩的生命現(xiàn)象，其中生物的自適應(yīng)、進(jìn)化和免疫等現(xiàn)象是人工生命的重要研究對象，而遺傳算法在這方面將會(huì)發(fā)揮一定的作用，五是遺傳算法和進(jìn)化規(guī)劃（Evolution Programming,EP）以及進(jìn)化策略（Evolution Strategy,ES）等進(jìn)化計(jì)算理論日益結(jié)合。EP和ES幾乎是和遺傳算法同時(shí)獨(dú)立發(fā)展起來的，同遺傳算法一樣，它們也是模擬自然界生物進(jìn)化機(jī)制的智能計(jì)算方法，即同遺傳算法具有相同之處，也有各自的特點(diǎn)。目前，這三者之間的比較研究和彼此結(jié)合的探討正形成熱點(diǎn)。

　　染色體編碼和適應(yīng)度函數(shù)

　　所謂編碼是指將問題的解空間轉(zhuǎn)換成遺傳算法所能處理的搜索空間。在特征選擇問題中，常常使用二進(jìn)制的編碼形式，使得每個(gè)二進(jìn)制就是一個(gè)染色體，其位數(shù)長度等于特征的個(gè)數(shù)。每一位代表一個(gè)特征，每位上的1表示選中該特征，0則表示不選中。每一代種群都由若干個(gè)染色體組成。

　　適應(yīng)度函數(shù)是整個(gè)遺傳算法中極為重要的部分[6]，好的適應(yīng)度函數(shù)能使染色體進(jìn)化到個(gè)體，它決定了在整個(gè)尋優(yōu)過程中是否能夠合理地協(xié)調(diào)好過早收斂和過慢結(jié)束這對矛盾。由于本文針對的是支持向量機(jī)的特征選擇問題，所以考慮以分類正確率和未選擇的特征個(gè)數(shù)這兩個(gè)參數(shù)作為函數(shù)的自變量，將分類正確率作為主要衡量標(biāo)準(zhǔn)，未選擇的特征個(gè)數(shù)為次要標(biāo)準(zhǔn)。由此建立以下的適應(yīng)度函數(shù)：

　　式中C為分類正確率，為未選擇的特征個(gè)數(shù)，a是調(diào)節(jié)系數(shù)，用來平衡分類正確率和未選擇的特征個(gè)數(shù)對適應(yīng)度函數(shù)的影響程度，同時(shí)該系數(shù)也體現(xiàn)了用少的特征得到較大分類正確率的原則，在本文中a取0.00077。由上式可知，分類正確率越高，未選的特征個(gè)數(shù)越多，染色體的適應(yīng)度就越大。

　　選擇操作

　　選擇操作需要按照一定的規(guī)則從原有的種群中選擇部分個(gè)體用來交叉和變異。選擇原則建立在對個(gè)體適應(yīng)度進(jìn)行評價(jià)的基礎(chǔ)上，目的是避免基因損失，提高全局收斂性和計(jì)算效率。本文首先將整個(gè)種群中的前40%的個(gè)體保留下來，以確保有足夠的優(yōu)良個(gè)體進(jìn)入下一代，對剩下的60%的個(gè)體采用輪盤算法進(jìn)行選擇，這樣做可以彌補(bǔ)保留前40%個(gè)體而帶來的局部解不易被淘汰的不利影響，有利于保持種群的多樣性。

　　基于敏感度信息量的交叉、變異操作

　　獨(dú)立敏感度信息量Q（i）指的是對在所有特征都被選中時(shí)計(jì)算所得到的適應(yīng)度值A(chǔ)llfitness以及只有特征i未被選中時(shí)計(jì)算得到的適應(yīng)度值Wfitness（i）按式（2）進(jìn)行計(jì)算得到的數(shù)值。獨(dú)立敏感度信息量刻畫了適應(yīng)度對特征i是否被選擇的敏感程度。

　　互敏感度信息量R(i，j)由(3)式可得，互敏感度信息量體現(xiàn)了特征i與特征j之間對適應(yīng)度的近似影響程度。

　　交叉操作的作用是通過交換兩個(gè)染色體之間的若干位從而生成含有部分原始優(yōu)良基因的新個(gè)體。由式(3)可知互敏感度信息量可作為不同特征之間含有相似分類信息的一種度量，所以可以將互敏感度信息量代入式(4)計(jì)算出染色體在第位發(fā)生交叉的幾率b(i)，在式(4)中i和j分別代表特征i和特征j，是染色體的長度。b(i)是特征i相對于其他所有特征在互敏感度信息量上的歸一量，反映了特征與其余特征在相似信息量上的總和。由此對應(yīng)到染色體上，b(i)就可以認(rèn)為是染色體的第i位與整個(gè)染色體在基因信息上的相關(guān)性，b(i)越小則說明相關(guān)性越大，第i位與整個(gè)染色體所含的基因信息越接近，此位為分裂點(diǎn)的幾率越小。由于b(i)是歸一化量，故可采用輪盤算法來選擇一個(gè)交叉點(diǎn)。

    變異操作是引入新物種的重要手段，可以有效地增加種群個(gè)體的多樣性。本文中的變異率Pm采用相鄰兩代之間的適應(yīng)度增幅比作為自變量進(jìn)行自適應(yīng)調(diào)節(jié)，如式(5)所示。當(dāng)適應(yīng)度增幅比正向增大時(shí)，較小的增幅比可以使變異率維持在中等水平，并且變異率隨著增幅比的增大而緩慢降低，這樣既能夠擁有一定數(shù)量的新個(gè)體也可以抑制過多不良染色體的產(chǎn)生，保證染色體的進(jìn)化足夠穩(wěn)定;而當(dāng)適應(yīng)度增幅比反向增大時(shí)，由較小增幅比則可以獲得較高的變異率，并且變異率也伴隨增幅比同比緩慢升高，確保有足夠的染色體發(fā)生變異，穩(wěn)定地加快進(jìn)化速度。

　   式中dis指新生種群的適應(yīng)度相對于原種群的適應(yīng)度的增幅比，j與k均是區(qū)間(0，1)上的調(diào)節(jié)系數(shù)。文中的j與k分別取0.65和0.055。

　　獨(dú)立敏感度信息量在一定程度上體現(xiàn)了單個(gè)特征所含有的分類信息量，如果獨(dú)立敏感度信息量小，則說明該特征所含信息大部分對分類沒有幫助，即該基因位發(fā)生突變后對整個(gè)染色體的優(yōu)異性影響不大，突變的概率也就相應(yīng)減小。因此將獨(dú)立敏感度信息量歸一化后所得到的q(i)作為特征i被選為變異點(diǎn)的概率。變異點(diǎn)的具體選擇方法為：針對一個(gè)染色體按照染色體的位數(shù)進(jìn)行循環(huán)遍歷，在該循環(huán)中由變異率Pm判定是否產(chǎn)生變異位。若需要產(chǎn)生變異位，則依據(jù)q(i)按照輪盤算法進(jìn)行選擇。

　　模擬退火選群

　　在每一輪進(jìn)化完成后都需要決定進(jìn)入下一輪進(jìn)化的種群。如果過多地將較優(yōu)種群作為父代，就會(huì)使算法過早收斂或搜索緩慢。文獻(xiàn)[7]中指出模擬退火算法能夠以一定的概率接受劣解從而跳出局部極值區(qū)域并終趨于全局解，因此可以將上文提到的適應(yīng)度增幅比作為能量函數(shù)，運(yùn)用模擬退火的Meteopolis準(zhǔn)則來選擇待進(jìn)化的種群。為了使每個(gè)種群得到充分地進(jìn)化，預(yù)防解的丟失，這里采用設(shè)置退火步長的策略來實(shí)現(xiàn)模擬退火選群。該策略具體為：使退火步長對同一種群作為父代的次數(shù)進(jìn)行計(jì)數(shù)，一旦產(chǎn)生更優(yōu)種群則退火步長就置零并重新計(jì)數(shù)。若退火步長累計(jì)超過一定的閾值時(shí)，就進(jìn)入模擬退火選群階段。退火步長累計(jì)到一定數(shù)量意味著原有種群的進(jìn)化已經(jīng)停滯，需要用模擬退火算法擺脫這種停滯狀態(tài)。如果增幅比大于零，則說明新生種群優(yōu)于原有種群，這時(shí)完全接受新種群進(jìn)入下一輪進(jìn)化；否則新生種群劣于原有種群，并以一定的概率p接受較劣的新生種群[8]進(jìn)入下一輪進(jìn)化。接受概率p由式（6）和式（7）共同決定，其中dis為增幅比，T（s）指溫度參數(shù)，T0和s分別是初始溫度和迭代次數(shù)。

　　以上兩式的參數(shù)要滿足進(jìn)化對接受概率的要求。即增幅比負(fù)增長越大，接受概率降低越迅速，但接受概率隨迭代次數(shù)的增加應(yīng)緩慢下降。這樣做能夠保證在有限的迭代次數(shù)內(nèi)有一個(gè)適應(yīng)度較優(yōu)的新生種群進(jìn)入下一輪進(jìn)化，以達(dá)到減少計(jì)算量和優(yōu)選待進(jìn)化種群的目的。在本文中T0=0.2，A=0.9，m=0.5。

　　實(shí)例的驗(yàn)證與分析

　　UCI數(shù)據(jù)庫常用來比較各種方法的分類效果，因此可以用其驗(yàn)證本算法對支持向量機(jī)作用后的分類效果[9][10]。文獻(xiàn)[11]采用了UCI數(shù)據(jù)庫中的German、Ionosphere和Sonar三種數(shù)據(jù)作為實(shí)驗(yàn)對象，為了便于與文獻(xiàn)[11]中所用的幾種方法進(jìn)行對比，本文也采用這三種數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，并按照文獻(xiàn)中所述的比例將各類數(shù)據(jù)分成相應(yīng)的訓(xùn)練樣本和測試樣本。

　　在種群規(guī)模為30，交叉率為0.8，起始變異率為0.1的條件下使用支持向量機(jī)作為分類器（懲罰參數(shù)為13.7，徑向基核函數(shù)參數(shù)為10.6）對所選數(shù)據(jù)進(jìn)行分類，表1中顯示了本文算法與文獻(xiàn)[11]中幾種算法在分類效果上的對比，表2給出了三種數(shù)據(jù)的終選擇結(jié)果。表1中共出現(xiàn)了四種方法：方法1：使用本文算法；方法2：使用NGA/PCA方法；方法3：使用PCA方法；方法4：使用簡單遺傳算法。

　　由于本文算法旨在用少的特征個(gè)數(shù)化分類正確率，因此從表1中可以看出本文算法在特征選擇個(gè)數(shù)和分類正確率上均比其他三種方法更具優(yōu)勢。由于NGA/PCA算法是針對簡單遺傳算法和主成分分析法的不足而做的改進(jìn)，其性能優(yōu)于簡單遺傳算法和主成分分析法，所以本文算法的分類效果優(yōu)于NGA/PCA算法這一事實(shí)更能說明該算法可以較好地解決支持向量機(jī)的特征選擇問題。

　　結(jié)語

　　本文針對主成分分析法在主成分特征選擇中存在的不確定性，提出了以類內(nèi)類間距離為適應(yīng)度函數(shù)，利用遺傳算法對主成分分析形成的綜合特征變量進(jìn)行選擇。該方法充分利用遺傳算法全局尋優(yōu)、計(jì)算速度快的特點(diǎn)，能高效解決支持向量機(jī)的特征選擇問題。仿真結(jié)果表明該方法適于不同規(guī)模的電力系統(tǒng)，能夠處理大數(shù)據(jù)量樣本，具有實(shí)用化價(jià)值。