1. /proc/partitions

對(duì)于kernel 2.4, iostat 的數(shù)據(jù)的主要來(lái)源是 /proc/partitions，而對(duì)于kernel 2.6, 數(shù)據(jù)主要來(lái)自/proc/diskstats或者/sys/block/[block-device-name]/stat。

先看看 /proc/partitions 中有些什么。

# cat /proc/partitions
major minor #blocks name rio rmerge rsect ruse wio wmerge wsect wuse running use aveq

3 0 19535040 hda 12524 31127 344371 344360 12941 25534 308434 1097290 -1 15800720 28214662
3 1 7172991 hda1 13 71 168 140 0 0 0 0 0 140 140
3 2 1 hda2 0 0 0 0 0 0 0 0 0 0 0
3 5 5116671 hda5 100 477 665 620 1 1 2 30 0 610 650
3 6 265041 hda6 518 92 4616 2770 257 3375 29056 143880 0 46520 146650
3 7 6980211 hda7 11889 30475 338890 340740 12683 22158 279376 953380 0 509350 1294120

major: 主設(shè)備號(hào)。3 代表 hda。
minor: 次設(shè)備號(hào)。7 代表 No.7 分區(qū)。
#blocks: 設(shè)備總塊數(shù) (1024 bytes/block)。19535040*1024 => 20003880960(bytes) ~2G
name: 設(shè)備名稱(chēng)。如 hda7。

rio: 完成的讀 I/O 設(shè)備總次數(shù)。指真正向 I/O 設(shè)備發(fā)起并完成的讀操作數(shù)目，
也就是那些放到 I/O 隊(duì)列中的讀請(qǐng)求。注意很多進(jìn)程發(fā)起的讀操作
(read())很可能會(huì)和其他的操作進(jìn)行 merge，不一定每個(gè) read() 調(diào)用
都引起一個(gè) I/O 請(qǐng)求。
rmerge: 進(jìn)行了 merge 的讀操作數(shù)目。
rsect: 讀扇區(qū)總數(shù) (512 bytes/sector)

ruse: 從進(jìn)入讀隊(duì)列到讀操作完成的時(shí)間累積 (毫秒)。上面的例子顯示從開(kāi)機(jī)
開(kāi)始，讀 hda7 操作共用了約340秒。

wio: 完成的寫(xiě) I/O 設(shè)備總次數(shù)。
wmerge: 進(jìn)行了 merge 的寫(xiě)操作數(shù)目。
wsect: 寫(xiě)扇區(qū)總數(shù)
wuse: 從進(jìn)入寫(xiě)隊(duì)列到寫(xiě)操作完成的時(shí)間累積 (毫秒)

running: 已進(jìn)入 I/O 請(qǐng)求隊(duì)列，等待進(jìn)行設(shè)備操作的請(qǐng)求總數(shù)。上面的例子顯
示 hda7 上的請(qǐng)求隊(duì)列長(zhǎng)度為 0。

use: 扣除重疊等待時(shí)間的凈等待時(shí)間 (毫秒)。一般比 (ruse+wuse) 要小。比
如 5 個(gè)讀請(qǐng)求同時(shí)等待了 1 毫秒，那么 ruse值為5ms, 而 use值為
1ms。use 也可以理解為I/O隊(duì)列處于不為空狀態(tài)的總時(shí)間。hda7 的I/O
隊(duì)列非空時(shí)間為 509 秒，約合8分半鐘。

aveq: 在隊(duì)列中總的等待時(shí)間累積 (毫秒) (約等于ruse+wuse)。為什么是“約等于”而不是等于呢？讓我們看看aveq, ruse, wuse的計(jì)算方式，這些量一般是在I/O完成后進(jìn)行更新的：
  aveq += in-flight * (now - disk->stamp);
  ruse += jiffies - req->start_time; // 如果是讀操作的話(huà)
  wuse += jiffies - req->start_time;  // 如果是寫(xiě)操作的話(huà)
注 意aveq計(jì)算中的in-flight，這是當(dāng)前還在隊(duì)列中的I/O請(qǐng)求數(shù)目。這些I/O還沒(méi)有完成，所以不能計(jì)算到ruse或wuse中。理論上，只有 在I/O全部完成后，aveq才會(huì)等于ruse+wuse。舉一個(gè)例子，假設(shè)初始時(shí)隊(duì)列中有三個(gè)讀請(qǐng)求，每個(gè)請(qǐng)求需要1秒鐘完成。在1.5秒這一時(shí)刻， aveq和ruse各是多少呢？
  ruse = 1 // 因?yàn)榇藭r(shí)只有一個(gè)請(qǐng)求完成
  aveq = 3*1 + 2*0.5 = 4 // 因?yàn)榈诙€(gè)請(qǐng)求剛發(fā)出0.5秒鐘，另還有一個(gè)請(qǐng)求在隊(duì)列中呢。
                                   // 這樣第一秒鐘時(shí)刻有3個(gè)in-flight，而1.5秒時(shí)刻有2個(gè)in-flight.
如果三個(gè)請(qǐng)求全部完成后，ruse才和aveq相等：
  ruse = 1 + 2 + 3 = 6
  aveq = 1 + 2 + 3 = 6
詳細(xì)說(shuō)明請(qǐng)參考 linux/drivers/block/ll_rw_blk.c中的end_that_request_last()和disk_round_stats()函數(shù)。

2. iostat 結(jié)果解析

# iostat -x
Linux 2.4.21-9.30AX (localhost) 2004年07月14日

avg-cpu: ％user ％nice ％sys ％idle
3.85 0.00 0.95 95.20

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm ％util
/dev/hda 1.70 1.70 0.82 0.82 19.88 20.22 9.94 10.11 24.50 11.83 57.81 610.76 99.96
/dev/hda1 0.00 0.00 0.00 0.00 0.01 0.00 0.00 0.00 12.92 0.00 10.77 10.77 0.00
/dev/hda5 0.02 0.00 0.00 0.00 0.03 0.00 0.02 0.00 6.60 0.00 6.44 6.04 0.00
/dev/hda6 0.01 0.38 0.05 0.03 0.43 3.25 0.21 1.62 46.90 0.15 193.96 52.25 0.41
/dev/hda7 1.66 1.33 0.76 0.79 19.41 16.97 9.70 8.49 23.44 0.79 51.13 19.79 3.07

rrqm/s: 每秒進(jìn)行 merge 的讀操作數(shù)目。即 delta(rmerge)/s
wrqm/s: 每秒進(jìn)行 merge 的寫(xiě)操作數(shù)目。即 delta(wmerge)/s
r/s: 每秒完成的讀 I/O 設(shè)備次數(shù)。即 delta(rio)/s
w/s: 每秒完成的寫(xiě) I/O 設(shè)備次數(shù)。即 delta(wio)/s
rsec/s: 每秒讀扇區(qū)數(shù)。即 delta(rsect)/s
wsec/s: 每秒寫(xiě)扇區(qū)數(shù)。即 delta(wsect)/s
rkB/s: 每秒讀K字節(jié)數(shù)。是 rsect/s 的一半，因?yàn)槊可葏^(qū)大小為512字節(jié)。
wkB/s: 每秒寫(xiě)K字節(jié)數(shù)。是 wsect/s 的一半。
avgrq-sz: 平均每次設(shè)備I/O操作的數(shù)據(jù)大小 (扇區(qū))。即 delta(rsect+wsect)/delta(rio+wio)
avgqu-sz: 平均I/O隊(duì)列長(zhǎng)度。即 delta(aveq)/s/1000 (因?yàn)閍veq的單位為毫秒)。
await: 平均每次設(shè)備I/O操作的等待時(shí)間 (毫秒)。即 delta(ruse+wuse)/delta(rio+wio)
svctm: 平均每次設(shè)備I/O操作的服務(wù)時(shí)間 (毫秒)。即 delta(use)/delta(rio+wio)
％util: 一秒中有百分之多少的時(shí)間用于 I/O 操作，或者說(shuō)一秒中有多少時(shí)間 I/O 隊(duì)列是非空的。
即 delta(use)/s/1000 (因?yàn)閡se的單位為毫秒)

如果 ％util 接近 100％，說(shuō)明產(chǎn)生的I/O請(qǐng)求太多，I/O系統(tǒng)已經(jīng)滿(mǎn)負(fù)荷，該磁盤(pán)
可能存在瓶頸。

svctm 一般要小于 await (因?yàn)橥瑫r(shí)等待的請(qǐng)求的等待時(shí)間被重復(fù)計(jì)算了)，
svctm 的大小一般和磁盤(pán)性能有關(guān)，CPU/內(nèi)存的負(fù)荷也會(huì)對(duì)其有影響，請(qǐng)求過(guò)多
也會(huì)間接導(dǎo)致 svctm 的增加。await 的大小一般取決于服務(wù)時(shí)間(svctm) 以及
I/O 隊(duì)列的長(zhǎng)度和 I/O 請(qǐng)求的發(fā)出模式。如果 svctm 比較接近 await，說(shuō)明
I/O 幾乎沒(méi)有等待時(shí)間；如果 await 遠(yuǎn)大于 svctm，說(shuō)明 I/O 隊(duì)列太長(zhǎng)，應(yīng)用
得到的響應(yīng)時(shí)間變慢，如果響應(yīng)時(shí)間超過(guò)了用戶(hù)可以容許的范圍，這時(shí)可以考慮
更換更快的磁盤(pán)，調(diào)整內(nèi)核 elevator 算法，優(yōu)化應(yīng)用，或者升級(jí) CPU。

隊(duì)列長(zhǎng)度(avgqu-sz)也可作為衡量系統(tǒng) I/O 負(fù)荷的指標(biāo)，但由于 avgqu-sz 是
按照單位時(shí)間的平均值，所以不能反映瞬間的 I/O 洪水。

3. I/O 系統(tǒng) vs. 超市排隊(duì)

舉一個(gè)例子，我們?cè)诔信抨?duì) checkout 時(shí)，怎么決定該去哪個(gè)交款臺(tái)呢? 首當(dāng)
是看排的隊(duì)人數(shù)，5個(gè)人總比20人要快吧? 除了數(shù)人頭，我們也常常看看前面人
購(gòu)買(mǎi)的東西多少，如果前面有個(gè)采購(gòu)了一星期食品的大媽?zhuān)敲纯梢钥紤]換個(gè)隊(duì)
排了。還有就是收銀員的速度了，如果碰上了連錢(qián)都點(diǎn)不清楚的新手，那就有的
等了。另外，時(shí)機(jī)也很重要，可能 5 分鐘前還人滿(mǎn)為患的收款臺(tái)，現(xiàn)在已是人
去樓空，這時(shí)候交款可是很爽啊，當(dāng)然，前提是那過(guò)去的 5 分鐘里所做的事情
比排隊(duì)要有意義 (不過(guò)我還沒(méi)發(fā)現(xiàn)什么事情比排隊(duì)還無(wú)聊的)。

I/O 系統(tǒng)也和超市排隊(duì)有很多類(lèi)似之處:

r/s+w/s 類(lèi)似于交款人的總數(shù)
平均隊(duì)列長(zhǎng)度(avgqu-sz)類(lèi)似于單位時(shí)間里平均排隊(duì)人的個(gè)數(shù)
平均服務(wù)時(shí)間(svctm)類(lèi)似于收銀員的收款速度
平均等待時(shí)間(await)類(lèi)似于平均每人的等待時(shí)間
平均I/O數(shù)據(jù)(avgrq-sz)類(lèi)似于平均每人所買(mǎi)的東西多少
I/O 操作率 (％util)類(lèi)似于收款臺(tái)前有人排隊(duì)的時(shí)間比例。

我們可以根據(jù)這些數(shù)據(jù)分析出 I/O 請(qǐng)求的模式，以及 I/O 的速度和響應(yīng)時(shí)間。

4. 一個(gè)例子

# iostat -x 1
avg-cpu: ％user ％nice ％sys ％idle
16.24 0.00 4.31 79.44
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm ％util

/dev/cciss/c0d0
0.00 44.90 1.02 27.55 8.16 579.59 4.08 289.80 20.57 22.35 78.21 5.00 14.29
/dev/cciss/c0d0p1
0.00 44.90 1.02 27.55 8.16 579.59 4.08 289.80 20.57 22.35 78.21 5.00 14.29
/dev/cciss/c0d0p2
0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

上面的 iostat 輸出表明秒有 28.57 次設(shè)備 I/O 操作: delta(io)/s = r/s +
w/s = 1.02+27.55 = 28.57 (次/秒) 其中寫(xiě)操作占了主體 (w:r = 27:1)。

平均每次設(shè)備 I/O 操作只需要 5ms 就可以完成，但每個(gè) I/O 請(qǐng)求卻需要等上
78ms，為什么? 因?yàn)榘l(fā)出的 I/O 請(qǐng)求太多 (每秒鐘約 29 個(gè))，假設(shè)這些請(qǐng)求是
同時(shí)發(fā)出的，那么平均等待時(shí)間可以這樣計(jì)算:

平均等待時(shí)間 = 單個(gè) I/O 服務(wù)時(shí)間 * ( 1 + 2 + ... + 請(qǐng)求總數(shù)-1) / 請(qǐng)求總數(shù)

應(yīng)用到上面的例子: 平均等待時(shí)間 = 5ms * (1+2+...+28)/29 = 70ms，和
iostat 給出的 78ms 的平均等待時(shí)間很接近。這反過(guò)來(lái)表明 I/O 是同時(shí)發(fā)起的。

每秒發(fā)出的 I/O 請(qǐng)求很多 (約 29 個(gè))，平均隊(duì)列卻不長(zhǎng) (只有 2 個(gè) 左右)，
這表明這 29 個(gè)請(qǐng)求的到來(lái)并不均勻，大部分時(shí)間 I/O 是空閑的。

一秒中有 14.29％ 的時(shí)間 I/O 隊(duì)列中是有請(qǐng)求的，也就是說(shuō)，85.71％ 的時(shí)間里
I/O 系統(tǒng)無(wú)事可做，所有 29 個(gè) I/O 請(qǐng)求都在142毫秒之內(nèi)處理掉了。

delta(ruse+wuse)/delta(io) = await = 78.21 => delta(ruse+wuse)/s =
78.21 * delta(io)/s = 78.21*28.57 = 2232.8，表明每秒內(nèi)的I/O請(qǐng)求總共需
要等待2232.8ms。所以平均隊(duì)列長(zhǎng)度應(yīng)為 2232.8ms/1000ms = 2.23，而 iostat
給出的平均隊(duì)列長(zhǎng)度 (avgqu-sz) 卻為 22.35，為什么?! 因?yàn)?iostat 中有
bug，avgqu-sz 值應(yīng)為 2.23，而不是 22.35。

5. iostat 的 bug 修正

iostat.c 中是這樣計(jì)算avgqu-sz的:

((double) current.aveq) / itv

aveq 的單位是毫秒，而 itv 是兩次采樣之間的間隔，單位是 jiffies。必須換
算成同樣單位才能相除，所以正確的算法是:

((double) current.aveq) / itv * HZ / 1000

這樣，上面 iostat 中輸出的 avgqu-sz 值應(yīng)為 2.23，而不是 22.3。

另外，util值的計(jì)算中做了 HZ 值的假設(shè)，不是很好，也需要修改。

--- sysstat-4.0.7/iostat.c.orig 2004-07-15 13:31:27.000000000 +0800
+++ sysstat-4.0.7/iostat.c 2004-07-15 13:37:34.000000000 +0800
@@ -370,7 +370,7 @@

nr_ios = current.rd_ios + current.wr_ios;
tput = nr_ios * HZ / itv;
- util = ((double) current.ticks) / itv;
+ util = ((double) current.ticks) / itv * HZ / 1000;
/* current.ticks (ms), itv (jiffies) */
svctm = tput ? util / tput : 0.0;
/* kernel gives ticks already in milliseconds for all platforms -> no need for further scaling */
@@ -387,12 +387,12 @@
((double) current.rd_sectors) / itv * HZ, ((double) current.wr_sectors) / itv * HZ,
((double) current.rd_sectors) / itv * HZ / 2, ((double) current.wr_sectors) / itv * HZ / 2,
arqsz,
- ((double) current.aveq) / itv,
+ ((double) current.aveq) / itv * HZ / 1000, /* aveq is in ms */
await,
/* again: ticks in milliseconds */
- svctm * 100.0,
+ svctm,
/* NB: the ticks output in current sard patches is biased to output 1000 ticks per second */
- util * 10.0);
+ util * 100.0);
}
}
}

一會(huì)兒 jiffies, 一會(huì)兒 ms，看來(lái) iostat 的作者也被搞暈菜了。

這個(gè)問(wèn)題在 systat 4.1.6 中得到了修正:

* The average I/O requests queue length as displayed by iostat -x was
wrongly calculated. This is now fixed.

但 Redhat 的 sysstat 版本有些太過(guò)時(shí)了 (4.0.7)。