1. 軟件未達到產品說明書標明的功能。
2. 軟件出現了產品說明書指明不會出現的錯誤。
3. 軟件功能超出產品說明書指明范圍。
4. 軟件未達到產品說明書雖未指出但應達到的目標。
在測試計算器時,會發現電池沒電會導致計算不正確,沒有人會考慮應如何應付這種情況,使計算器反應正常,而盲目以為電池永遠充足了電。測試要持續進行到電池完全沒電,至少要看到電力不足的跡象。產品說明書指出電力不足無法正確計算,但未指出會怎樣。
5. 軟件測試員認為軟件難以理解、不易使用、運行速度緩慢,或者最終用戶認為不好。
遵守已上這些規則,有助于澄清什么樣的軟件缺陷才算軟件缺陷這個模棱兩可的問題,眼見為實。與其說軟件有沒有“某功能”,不如說軟件運行時有“某功能”或者“缺少某功能”來得更確切。由于不能報告沒有看見的問題,因此,沒有看見就不能說存在軟件缺陷。“一片樹葉飄落在森林中沒有人聽見,誰能說它發出了聲音?”