3. 測試能力的提升
測試階段有很多的事情可以去做，覺得最主要的還是兩個方面
- 自動化。 越來越覺得這個是繞不開的話題，要想盡辦法去做，做得更高效更全面。前面有篇blog也提到了一些輕量級的做法，業(yè)務(wù)測試的團隊可以參考 http://blog.csdn.net/superqa/article/details/20644285
- 輔助手段，比如代碼覆蓋率，特別是差異的覆蓋率。這個大家都比較容易理解就不展開了。
- 拓展測試的類型
這個方面說起來有些泛，需要結(jié)合團隊和業(yè)務(wù)的情況，比如安全測試，性能測試，兼容性測試等，去發(fā)現(xiàn)一些對于產(chǎn)品來說很重要的風(fēng)險。
這方面有兩個前提，一是我們的基本功能質(zhì)量到了一個階段，可以讓大家騰出手去拓展測試的面，另一方面我們測試人員的能力要跟得上。
4. 發(fā)布環(huán)節(jié)的質(zhì)量把控
這個方面和傳統(tǒng)的測試不太一樣，而且了解到不同的組織做法不同，執(zhí)行發(fā)布的人員可能不同，有開發(fā)，運維，專職的版本管理或者測試來做。
在我們的實踐中，發(fā)布后來都逐步收到測試這邊，回頭來看覺得還是有不少有幫助的地方。當(dāng)然也不絕對的必須測試來做。
- DO分離，避免了隨意的發(fā)布，特別是在開發(fā)手上的時候。所有的bugfix都經(jīng)過測試發(fā)布，可以更準(zhǔn)確的度量質(zhì)量（除非這個問題可以不修復(fù)，否則肯定要過發(fā)布環(huán)節(jié)）
- 知道最近發(fā)了什么，可能的影響是什么，需要線上關(guān)注什么。
- 灰度。 互聯(lián)網(wǎng)產(chǎn)品常用的一個控制風(fēng)險和節(jié)奏的手段。
- 擴容的快速自動化檢查，這方面也依賴于自動化的建設(shè)。
- 發(fā)布過程支持灰度的控制，備份和快速的回滾。對發(fā)布系統(tǒng)有一定的要求，而且有可追溯性。
發(fā)布處在整個研發(fā)流程非常關(guān)鍵的節(jié)點，在這個點可以做很多的控制，也能發(fā)現(xiàn)很多的問題，對于測試團隊來說，從這里可以發(fā)現(xiàn)很多的問題，做很多的提升，對自己和相關(guān)的合作團隊。
5. 外網(wǎng)的監(jiān)控
發(fā)現(xiàn)發(fā)布后的問題，持續(xù)運營過程中的問題，推動優(yōu)化。
通常監(jiān)控可以分幾個層面，粗淺的可以分成幾類：
- 運維層面的監(jiān)控，比如機器，鏈路，資源使用，主要組件是否正常等。
- 業(yè)務(wù)指標(biāo)的監(jiān)控，比如來自點擊率，BI系統(tǒng)等。
- 集成在產(chǎn)品里面的監(jiān)控代碼，我們稱之為模塊調(diào)用監(jiān)控。這個是全量的，有次數(shù)，成功率，響應(yīng)時間等角度。
- 測試層面的自動化監(jiān)控，關(guān)于在接口和功能層面。這個是采樣的，但是從用戶的角度來監(jiān)控。
以上這些監(jiān)控都有對應(yīng)的告警機制，可以第一時間發(fā)現(xiàn)問題，避免造成更大的損失。為了實現(xiàn)上面的監(jiān)控需要做大量的工作，但是這些對于整個外網(wǎng)運營的質(zhì)量非常的重要。
6. 外網(wǎng)事故和問題的收集，跟進(jìn)和反向推動
和前面的思路一樣，如果只是發(fā)現(xiàn)問題解決問題還是稍顯被動，那么對于外網(wǎng)事故和問題的分析，還是有很多推動性的幫助。
7. 用戶的問題反饋和滿意度
進(jìn)一步的質(zhì)量不只是系統(tǒng)本身的質(zhì)量，而是從用戶角度看到的質(zhì)量，有時候這個可能稍微超出一些系統(tǒng)層面的問題，但是因為最終的質(zhì)量還是用戶說了算，所以我們應(yīng)該擴展下思路。收集這樣的問題的渠道有很多
- 外網(wǎng)問題反饋，比如來自客服系統(tǒng)的，用戶直接的反饋，現(xiàn)在很多app上都有反饋的功能。
- 論壇信息的統(tǒng)計收集。我了解的另一個測試團隊，他們還專門開發(fā)了一個自動收集外部反饋，以及過濾分析的系統(tǒng)來幫助他們及時的了解外包的問題反饋。