為什么要用線程池?
諸如 Web 服務(wù)器、數(shù)據(jù)庫服務(wù)器、文件服務(wù)器或郵件服務(wù)器之類的許多服務(wù)器應(yīng)用程序都面向處理來自某些遠(yuǎn)程來源的大量短小的任務(wù)。請求以某種方式到達(dá)服務(wù)器,這種方 式可能是通過網(wǎng)絡(luò)協(xié)議(例如 HTTP、FTP 或 POP)、通過 JMS 隊列或者可能通過輪詢數(shù)據(jù)庫。不管請求如何到達(dá),服務(wù)器應(yīng)用程序中經(jīng)常出現(xiàn)的情況是:單個任務(wù)處理的時間很短而請求的數(shù)目卻是巨大的。
構(gòu)建服務(wù)器應(yīng)用程序的一個過于簡單的模型應(yīng)該是:每當(dāng)一個請求到達(dá)就創(chuàng)建一個新線程,然后在新線程中為請求服務(wù)。實(shí)際上,對于原型開發(fā)這種方法工作得很 好,但如果試圖部署以這種方式運(yùn)行的服務(wù)器應(yīng)用程序,那么這種方法的嚴(yán)重不足就很明顯。每個請求對應(yīng)一個線程(thread-per-request)方 法的不足之一是:為每個請求創(chuàng)建一個新線程的開銷很大;為每個請求創(chuàng)建新線程的服務(wù)器在創(chuàng)建和銷毀線程上花費(fèi)的時間和消耗的系統(tǒng)資源要比花在處理實(shí)際的用 戶請求的時間和資源更多。
除了創(chuàng)建和銷毀線程的開銷之外,活動的線程也消耗系統(tǒng)資源。在一個 JVM 里創(chuàng)建太多的線程可能會導(dǎo)致系統(tǒng)由于過度消耗內(nèi)存而用完內(nèi)存或“切換過度”。為了防止資源不足,服務(wù)器應(yīng)用程序需要一些辦法來限制任何給定時刻處理的請求數(shù)目。
線程池為線程生命周期開銷問題和資源不足問題提供了解決方案。通過對多個任務(wù)重用線程,線程創(chuàng)建的開銷被分?jǐn)偟搅硕鄠€任務(wù)上。其好處是,因?yàn)樵谡埱蟮竭_(dá)時 線程已經(jīng)存在,所以無意中也消除了線程創(chuàng)建所帶來的延遲。這樣,就可以立即為請求服務(wù),使應(yīng)用程序響應(yīng)更快。而且,通過適當(dāng)?shù)卣{(diào)整線程池中的線程數(shù)目,也 就是當(dāng)請求的數(shù)目超過某個閾值時,就強(qiáng)制其它任何新到的請求一直等待,直到獲得一個線程來處理為止,從而可以防止資源不足。
使用線程池的風(fēng)險
雖然線程池是構(gòu)建多線程應(yīng)用程序的強(qiáng)大機(jī)制,但使用它并不是沒有風(fēng)險的。用線程池構(gòu)建的應(yīng)用程序容易遭受任何其它多線程應(yīng)用程序容易遭受的所有并發(fā)風(fēng)險,諸如同步錯誤和死鎖,它還容易遭受特定于線程池的少數(shù)其它風(fēng)險,諸如與池有關(guān)的死鎖、資源不足和線程泄漏。
死鎖
任何多線程應(yīng)用程序都有死鎖風(fēng)險。當(dāng)一組進(jìn)程或線程中的每一個都在等待一個只有該組中另一個進(jìn)程才能引起的事件時,我們就說這組進(jìn)程或線程 死鎖了。死鎖的最簡單情形是:線程 A 持有對象 X 的獨(dú)占鎖,并且在等待對象 Y 的鎖,而線程 B 持有對象 Y 的獨(dú)占鎖,卻在等待對象 X 的鎖。除非有某種方法來打破對鎖的等待(Java 鎖定不支持這種方法),否則死鎖的線程將永遠(yuǎn)等下去。
雖然任何多線程程序中都有死鎖的風(fēng)險,但線程池卻引入了另一種死鎖可能,在那種情況下,所有池線程都在執(zhí)行已阻塞的等待隊列中另一任務(wù)的執(zhí)行結(jié)果的任務(wù), 但這一任務(wù)卻因?yàn)闆]有未被占用的線程而不能運(yùn)行。當(dāng)線程池被用來實(shí)現(xiàn)涉及許多交互對象的模擬,被模擬的對象可以相互發(fā)送查詢,這些查詢接下來作為排隊的任 務(wù)執(zhí)行,查詢對象又同步等待著響應(yīng)時,會發(fā)生這種情況。
資源不足
線程池的一個優(yōu)點(diǎn)在于:相對于其它替代調(diào)度機(jī)制(有些我們已經(jīng)討論過)而言,它們通常執(zhí)行得很好。但只有恰當(dāng)?shù)卣{(diào)整了線程池大小時才是這樣的。線程消耗包括內(nèi)存和其它系統(tǒng)資源在內(nèi)的大量資源。除了 Thread
對象所需的內(nèi)存之外,每個線程都需要兩個可能很大的執(zhí)行調(diào)用堆棧。除此以外,JVM 可能會為每個 Java 線程創(chuàng)建一個本機(jī)線程,這些本機(jī)線程將消耗額外的系統(tǒng)資源。最后,雖然線程之間切換的調(diào)度開銷很小,但如果有很多線程,環(huán)境切換也可能嚴(yán)重地影響程序的性能。
如果線程池太大,那么被那些線程消耗的資源可能嚴(yán)重地影響系統(tǒng)性能。在線程之間進(jìn)行切換將會浪費(fèi)時間,而且使用超出比您實(shí)際需要的線程可能會引起資源匱乏 問題,因?yàn)槌鼐€程正在消耗一些資源,而這些資源可能會被其它任務(wù)更有效地利用。除了線程自身所使用的資源以外,服務(wù)請求時所做的工作可能需要其它資源,例 如 JDBC 連接、套接字或文件。這些也都是有限資源,有太多的并發(fā)請求也可能引起失效,例如不能分配 JDBC 連接。
并發(fā)錯誤
線程池和其它排隊機(jī)制依靠使用 wait()
和 notify()
方法,這兩個方法都難于使用。如果編碼不正確,那么可能丟失通知,導(dǎo)致線程保持空閑狀態(tài),盡管隊列中有工作要處理。使用這些方法時,必須格外小心;即便是專家也可能在它們上面出錯。而最好使用現(xiàn)有的、已經(jīng)知道能工作的實(shí)現(xiàn),例如在下面的 無須編寫您自己的池中討論的 util.concurrent
包。
線程泄漏
各種類型的線程池中一個嚴(yán)重的風(fēng)險是線程泄漏,當(dāng)從池中除去一個線程以執(zhí)行一項任務(wù),而在任務(wù)完成后該線程卻沒有返回池時,會發(fā)生這種情況。發(fā)生線程泄漏的一種情形出現(xiàn)在任務(wù)拋出一個 RuntimeException
或一個 Error
時。如果池類沒有捕捉到它們,那么線程只會退出而線程池的大小將會永久減少一個。當(dāng)這種情況發(fā)生的次數(shù)足夠多時,線程池最終就為空,而且系統(tǒng)將停止,因?yàn)闆]有可用的線程來處理任務(wù)。
有些任務(wù)可能會永遠(yuǎn)等待某些資源或來自用戶的輸入,而這些資源又不能保證變得可用,用戶可能也已經(jīng)回家了,諸如此類的任務(wù)會永久停止,而這些停止的任務(wù)也 會引起和線程泄漏同樣的問題。如果某個線程被這樣一個任務(wù)永久地消耗著,那么它實(shí)際上就被從池除去了。對于這樣的任務(wù),應(yīng)該要么只給予它們自己的線程,要 么只讓它們等待有限的時間。
請求過載
僅僅是請求就壓垮了服務(wù)器,這種情況是可能的。在這種情形下,我們可能不想將每個到來的請求都排隊到我們的工作隊列,因?yàn)榕旁陉犃兄械却龍?zhí)行的任務(wù)可能會 消耗太多的系統(tǒng)資源并引起資源缺乏。在這種情形下決定如何做取決于您自己;在某些情況下,您可以簡單地拋棄請求,依靠更高級別的協(xié)議稍后重試請求,您也可 以用一個指出服務(wù)器暫時很忙的響應(yīng)來拒絕請求。
有效使用線程池的準(zhǔn)則
只要您遵循幾條簡單的準(zhǔn)則,線程池可以成為構(gòu)建服務(wù)器應(yīng)用程序的極其有效的方法:
- 不要對那些同步等待其它任務(wù)結(jié)果的任務(wù)排隊。這可能會導(dǎo)致上面所描述的那種形式的死鎖,在那種死鎖中,所有線程都被一些任務(wù)所占用,這些任務(wù)依次等待排隊任務(wù)的結(jié)果,而這些任務(wù)又無法執(zhí)行,因?yàn)樗械木€程都很忙。
- 在為時間可能很長的操作使用合用的線程時要小心。如果程序必須等待諸如 I/O 完成這樣的某個資源,那么請指定最長的等待時間,以及隨后是失效還是將任務(wù)重新排隊以便稍后執(zhí)行。這樣做保證了:通過將某個線程釋放給某個可能成功完成的任務(wù),從而將最終取得 某些進(jìn)展。
- 理解任務(wù)。要有效地調(diào)整線程池大小,您需要理解正在排隊的任務(wù)以及它們正在做什么。它們是 CPU 限制的(CPU-bound)嗎?它們是 I/O 限制的(I/O-bound)嗎?您的答案將影響您如何調(diào)整應(yīng)用程序。如果您有不同的任務(wù)類,這些類有著截然不同的特征,那么為不同任務(wù)類設(shè)置多個工作隊 列可能會有意義,這樣可以相應(yīng)地調(diào)整每個池。