基于盒式圖的數(shù)據(jù)過濾與回歸分析算法
出處:hiberhe 發(fā)布于:2010-08-03 14:13:26
軟件度量是對軟件開發(fā)項(xiàng)目、過程及其產(chǎn)品進(jìn)行數(shù)據(jù)定義、收集以及分析的持續(xù)性定量化過程,目的在于對此加以理解、預(yù)測、*估、控制和改善,從而保證軟件開發(fā)中的高效率、低成本、高質(zhì)量[1]。但是,得到正確的度量只是測量程序的一部分。軟件質(zhì)量是與所收集和分析的數(shù)據(jù)質(zhì)量密切相關(guān)的,數(shù)據(jù)清洗過程的目的就是要解決“臟數(shù)據(jù)”的問題。數(shù)據(jù)清洗是指去除或修補(bǔ)源數(shù)據(jù)中的不完整、不一致、含噪聲的數(shù)據(jù)。在源數(shù)據(jù)中,可能由于疏忽、懶惰,甚至為了保密使系統(tǒng)設(shè)計人員無法得到某些數(shù)據(jù)項(xiàng)的數(shù)據(jù)[2]。根據(jù)決策系統(tǒng)中“garbage in garbage out”(如果輸入的分析數(shù)據(jù)是垃圾則輸出的分析結(jié)果也將是垃圾)原理,必須處理這些噪聲數(shù)據(jù)。去掉噪聲平滑數(shù)據(jù)的技術(shù)主要有分箱(binning)、聚類(clustering)、回歸(regression)等[3]。本文在回歸分析的基礎(chǔ)上,加入了盒形圖進(jìn)行數(shù)據(jù)過濾,從而得出一條線性回歸直線,使模式或者關(guān)系變得更加明顯,從而用這些模式和關(guān)系對測量的屬性作出判斷。
1 盒形圖和回歸分析簡介
1.1 盒形圖
該方法可以描述數(shù)據(jù)集取值范圍的情況,展示數(shù)據(jù)主要*的區(qū)域,發(fā)現(xiàn)離群數(shù)據(jù)可能的位置,以便于對離群數(shù)據(jù)進(jìn)行處理。盒形圖顯示一個變量的信息,如對相同CMM等級的不同項(xiàng)目完成每個FP的工作量分析,根據(jù)中位數(shù)m、上四分位數(shù)u、下四分位數(shù)l、盒長d、和尾(tail)來分析。
中位數(shù)是在數(shù)據(jù)集中排列居中的項(xiàng)。也就是說,如果中位數(shù)取值為m,則數(shù)據(jù)集中有一半的值大于m,一半的值小于m。將所有數(shù)值按大小順序排列并分成四等份,處于三個分割點(diǎn)位置的得分就是四分位數(shù)。的四分位數(shù)稱為下四分位數(shù)l,所有數(shù)值中,有四分之一小于下四分位數(shù),四分之三大于下四分位數(shù)。中點(diǎn)位置的四分位數(shù)就是中位數(shù)。的四分位數(shù)稱為上四分位數(shù)u,所有數(shù)值中,有四分之三小于上四分位數(shù),四分之一大于上四分位數(shù)。也有叫第25百分位數(shù)、第75百分位數(shù)的。將上四分位數(shù)和下四分位數(shù)的距離定義為盒長d,因此,d=u-l。接下來定義分布的尾(tail)。理論上,上尾值點(diǎn)為u+1.5d,下尾值為u-1.5d,這些值必須進(jìn)行舍位處理,以接近真實(shí)數(shù)據(jù),位于上尾和下尾之外的值稱為離群值。
1.2 回歸分析方法
回歸分析方法是研究要素之間具體數(shù)量關(guān)系的強(qiáng)有力的工具,運(yùn)用這種方法能夠建立反映要素之間具體的數(shù)量關(guān)系的數(shù)學(xué)模型,即回歸模型。線性回歸技術(shù)的基礎(chǔ)就是散點(diǎn)圖。將每個屬性對表示為一個數(shù)據(jù)點(diǎn)(x,y),然后用回歸技術(shù)計算出能夠地擬合這些點(diǎn)的直線。目標(biāo)是將屬性y(因變量)根據(jù)屬性x(自變量)表示為等式:y=a+bx。
線性回歸的理論是從每個點(diǎn)垂直向上或向下畫一條線段到趨勢直線,表示從數(shù)據(jù)點(diǎn)到趨勢直線的垂直距離。在某種意義上,這些線段的長度表示數(shù)據(jù)和直線的差異,且這種差異應(yīng)盡可能地小。因此,“擬合”的直線式是指使該距離的直線。
在數(shù)學(xué)上要計算“擬合”直線的斜率b和截距a是很簡單的。每個點(diǎn)的差異稱為殘差,生成線性回歸直線的公式是殘差的平方和達(dá)到。可以將每個數(shù)據(jù)點(diǎn)的殘差表示為:

2 算法實(shí)現(xiàn)
在進(jìn)行數(shù)據(jù)清洗時,由于數(shù)據(jù)是無序輸入的,所以先對其排序,再用盒形圖法行數(shù)據(jù)清洗。以下是偽代碼:
void BubbleSort(double m,double q,int n) //先對輸入
//的數(shù)據(jù)進(jìn)行冒泡排序,并相應(yīng)修改
//第二組數(shù)據(jù)的順序,以保證它們之間的對應(yīng)關(guān)系
{ for(int i=0;i
for(int j=n-1;j>i;j--)
{
輸入數(shù)據(jù)的排序
修改第二組數(shù)據(jù)
}
}
void box(double *m,double *q,int &n) //盒形法篩選
//掉離群項(xiàng)目工作量數(shù)據(jù),n為輸入數(shù)據(jù)個數(shù),m、q為指針
{
double a,b,c,top,bottom,l; //上分位a,中位數(shù)b,//下分位c
if(n%2==0) //計算出3個四分位數(shù)
{
b=(*(m+n/2)+*(m+n/2-1))/2; //數(shù)據(jù)個數(shù)為
//偶數(shù)時,中位數(shù)取中間兩數(shù)的平均值
a=*(m+n/4);
c=*(m+3*n/4); }
}
else
{ b=*(m+n/2);
a=*(m+n/4);
c=*(m+3*n/4); }
l=c-a; top=c+1.5*l;bottom=c-1.5*l; //計算出盒
//長,上尾數(shù),下尾數(shù)
if(bottom<0) bottom=m; //并進(jìn)行必要的舍位處理
int j=n;
for(int i=0;i
{
if(*(m+i)>top‖*(m+i)
如有,將其從數(shù)組中剔去
}
}
版權(quán)與免責(zé)聲明
凡本網(wǎng)注明“出處:維庫電子市場網(wǎng)”的所有作品,版權(quán)均屬于維庫電子市場網(wǎng),轉(zhuǎn)載請必須注明維庫電子市場網(wǎng),http://m.58mhw.cn,違反者本網(wǎng)將追究相關(guān)法律責(zé)任。
本網(wǎng)轉(zhuǎn)載并注明自其它出處的作品,目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點(diǎn)或證實(shí)其內(nèi)容的真實(shí)性,不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個人從本網(wǎng)轉(zhuǎn)載時,必須保留本網(wǎng)注明的作品出處,并自負(fù)版權(quán)等法律責(zé)任。
如涉及作品內(nèi)容、版權(quán)等問題,請?jiān)谧髌钒l(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系,否則視為放棄相關(guān)權(quán)利。
- 什么是氫氧燃料電池,氫氧燃料電池的知識介紹2025/8/29 16:58:56
- SQL核心知識點(diǎn)總結(jié)2025/8/11 16:51:36
- 等電位端子箱是什么_等電位端子箱的作用2025/8/1 11:36:41
- 基于PID控制和重復(fù)控制的復(fù)合控制策略2025/7/29 16:58:24
- 什么是樹莓派?一文快速了解樹莓派基礎(chǔ)知識2025/6/18 16:30:52









