轉帖|行業資訊|編輯:龔雪|2016-06-16 14:13:18.000|閱讀 391 次
概述:探索式測試能為枯燥的開發帶來浪漫因子。經過了這個浪漫的階段,新奇感消失,但其效果仍在。探索式測試與日常測試真正融為一體,深刻作用于產品質量保證,仿佛共同演奏了一出協奏曲。本文中,我們來講下集成測試和上線前測試的兩個環節中的探索式測試。
# 界面/圖表報表/文檔/IDE等千款熱門軟控件火熱銷售中 >>
相關鏈接:
探索式測試能為枯燥的開發帶來浪漫因子。經過了這個浪漫的階段,新奇感消失,但其效果仍在。探索式測試與日常測試真正融為一體,深刻作用于產品質量保證,仿佛共同演奏了一出協奏曲。
本文中,我們來講下集成測試和上線前測試的兩個環節中的探索式測試。
集成測試階段,各項功能(FT)都合入,且經過了測試,質量趨于穩定。也正是因為這種合入,可能導致新舊功能之間產生不可知的影響。因此集成測試應該是一次完整的質量體檢。我們的集成測試分成三個部分:指南測試、專項測試、系統探索。
1.指南測試
在探索式測試基礎方法中有一種方法叫做指南針測試法,就是根據需求來做測試。我們把驗證需求實現的用例稱之為一級基礎用例。因此指南測試其實也是用例測試,不過這個用例只是基礎用例,覆蓋了基礎需求,只包含正常邏輯的用例。
舉例來說QQ瀏覽器(iPhone)各個模塊完整用例共計3700多條,包含了需求驗證類型不含覆蓋安裝的基礎用例(1級用例),也包含了其他的用例(2級用例)例如模塊之間復雜交互和極限情況的用例、覆蓋安裝用例等。
優先級 | 測試點 | 條件 | 步驟 | 預期結果 |
1 | 顯示 | 無歷史記錄 | 進入歷史頁面,查看歷史記錄 | 頁面顯示:沒有歷史記錄,右下角“清空”按鈕被置灰(沒有清空按鈕) |
1 | 有歷史記錄 | 進入歷史頁面,查看歷史記錄 | 頁面顯示:歷史記錄,每條記錄左側顯示對應的網址圖標,右側顯示標題名,下方顯示對應網址。頁面右下角“清空”按鈕為可用狀態。 | |
1 | 點擊任意歷史記錄 | 正確跳轉至相應網頁,網頁在當前窗口打開,不新建窗口。 | ||
2 | 歷史記錄有未拉取下來的網頁記錄的圖標 | 拉取歷史時網絡不好,未拉取到網頁記錄的圖標 | 顯示默認的圖標。 | |
2 | 歷史記錄有標題名過長的記錄 | 查看的標題名過長的記錄 | 過長的標題名在末尾截斷,顯示“…” | |
2 | 歷史記錄有URL過長的記錄 | 查看的URL過長的記錄 | 過長的URL在末尾截斷,顯示“…” | |
1 | 去重 | 已訪問多個網址,并記錄歷史 | 再次訪問當天訪問過的網址 | 同一天內相同的歷史記錄,只保留最后一條記錄 |
1 | 按日期顯示 | 有今天的歷史記錄 | 進入歷史頁面,查看當天歷史記錄 | 顯示為:今天+日期,下方顯示對應日期的所有歷史記錄 |
2 | 有昨天的歷史記錄 | 進入歷史頁面,查看當天歷史記錄 | 顯示為:今天+日期,下方顯示對應日期的所有歷史記錄 | |
2 | 有3天前的歷史記錄 | 進入歷史頁面,查看當天歷史記錄 | 顯示為:三天前的日期,下方顯示對應日期的所有歷史記錄 | |
2 | 有4天前的歷史記錄 | 進入歷史頁面,查看當天歷史記錄 | 顯示為:四天前的日期,下方顯示對應日期的所有歷史記錄 | |
2 | 有5天前的歷史記錄 | 進入歷史頁面,查看當天歷史記錄 | 顯示為:五天前的日期,下方顯示對應日期的所有歷史記錄 |
這個用例篩選可以從兩個時機入手,第一個時機是在設計用例的時候,直接按照需求標識出1級用例和2級用例。如果一開始沒有做這樣的用例分級,可以再集成前測試人員先按照需求進行分級,再約上不同的開發負責人逐一進行評審,確保基礎需求的驗證用例沒有遺漏。
在QQ瀏覽器(iPhone)實際測試中,700條用例,5個測試人力,大約需要1天的時間進行。
2.專項測試
把2級用例中涉及覆蓋安裝的用例抽離出來,作為專項測試內容。如下圖所示:
驗證點 | 結果 |
書簽(本地書簽、網絡書簽、PC書簽、書簽文件夾) | pass |
金喜正規買球書簽(快鏈) | pass |
歷史記錄、最常訪問 | pass |
個人中心身份態(保持、注銷、切換) | pass |
微云收藏 | pass |
微云文件 | pass |
視頻下載(狀態、大小、個數、最近觀看、緩存任務、我的收藏) | pass |
文件(查看、刪除等) | pass |
搜索引擎(升級后保持、切換) | pass |
設置(字體大小、消息管理等抽測) | pass |
皮膚(下載、當前皮膚) | pass |
省流量(數據是否累積) | pass |
旋屏模式(當前屏幕是否對,設置項是否對) | pass |
導航、卡片更新 | pass |
cookies保存 | pass |
我的書架(收藏的書、設置、讀書進度) | pass |
離線的小說升級后第一次無網絡進入可讀 | pass |
單獨列出這項測試是因為移動APP的覆蓋安裝比較耗時,如果在指南測試中進行,將會不斷出現等待升級的時間,我們將所有涉及覆蓋安裝的用例集中到一個時間段進行,通過一次升級就可以檢查多個數據在新舊版本上的完整性和正確性。涉及到的探索式測試策略包括:上一版本測試法、快遞測試法。
另外還有一個機型系統的適配問題,移動端的系統差異往往會影響其上的APP功能。實際集成測試每個測試人員負責的機型系統不同,因此我們還需要對一些核心功能進行全量的系統覆蓋。也把這部分單獨抽離出來作為專項測試。下圖所示。涉及到的探索式測試策略包括:遍歷測試法、超模測試法。
加強對入口級功能的重視,在集成階段要做到對此類功能點的全系統覆蓋 | ||
功能點 | 備注 | |
1 | 第三方調用打開 | 重點考察調起邏輯是否通暢,頁面顯示是否正常,包括橫屏、皮膚、放大模式等因素下的菜單欄、通知欄顯示 |
2 | 與音樂兼容 | QQ音樂、酷狗、酷我等播放器在后臺播放音樂時,打開瀏覽器后音樂照常播放 |
3 | 通知欄push | 點擊push進入瀏覽器(包括冷啟動和熱啟動),頁面顯示是否異常,包括通知欄、菜單欄等 |
* | ****** | ******* |
專項測試階段在QQ瀏覽器(iPhone)上的耗時為5人*0.5天。
3.系統探索
這個階段在基礎用例+覆蓋安裝用例之后,是一次大規模的探索式測試。
瀏覽器features業務交叉關系 | ||||||||||||
基礎能力 |
業務模塊 功能模塊 |
FT模塊 | ||||||||||
每日頭條 | 小說書架 | 輕應用 | 文件管理(包括微云、微收藏) | 我的視頻(包括下載播放) | 微云收藏 | 皮膚 | 導航卡片 | 書簽快鏈 | ||||
QQ賬號登錄 | pass | fail | na | pass | pass | pass | pass | pass | pass | |||
微信登陸錄 | pass | pass | na | na | pass | na | pass | pass | pass | |||
分享(跨屏、瞅瞅、復制網址、生成二維碼等) | pass | pass | na | na | pass | pass | pass | pass | pass | |||
跨屏穿越 | na | pass | na | pass | pass | pass | pass | pass | pass | |||
地址欄 | fail | fail | na | na | pass | pass | pass | pass | pass | |||
全屏 | pass | pass | na | pass | pass | na | pass | pass | pass | |||
底欄菜單 | pass | pass | na | pass | pass | pass | pass | pass | pass | |||
長按菜單 | pass | na | na | pass | pass | pass | pass | pass | pass | |||
夜間模式 | pass | pass | na | pass | pass | pass | pass | pass | pass | |||
旋屏 | pass | pass | na | pass | pass | pass | pass | pass | pass |
首先將瀏覽器基礎特性作為一個維度,將各個FT作為另外一個維度,形成如下圖所示的二維表。這個表的目的是將探索式測試的自由度限制在一個框架內,不至于偏離主題,在橫縱交叉點中測試人員可以充分發揮自己的自由度去做“邊測試邊設計”的工作。
這是二維表,還可以進一步演繹為多維表,將每個FT與整個瀏覽器乃至整個操作平臺的特性關聯起來,形成多維規劃圖。整個操作過程建議做測試記錄和交流總結。
在QQ瀏覽器(iPhone)上的這個階段耗時大約是5人*1.5天。
上線測試一般時間相對有限。我們的測試就分為檢查點測試和風險點的測試。
1.檢查點測試
檢查點非常類似于集成測試中的指南測試,不過這里關注的是基礎特性是否受到影響。如下表所示是QQ瀏覽器(iPhone)在上線前的檢查點,基本涵蓋基礎功能驗證。
序號 | 來源 | 檢查點 |
1 | 基礎要求 | 系統push(小說更新push、跨屏push) |
2 | 基礎要求 | 升級提示(3種方式:系統通知欄、提示升級、檢查升級) |
3 | 基礎要求 | 起始頁配置校取正確 |
4 | 基礎要求 | 手Q身份調用 |
5 | 基礎要求 | 能夠覆蓋安裝(采用第二個覆蓋安裝的sheet,不用每個人都驗證一輪,四個人每人驗證一部分合起來就行) |
6 | 基礎要求 | 檢查后臺數據(QUA、渠道號、相關PV數) |
7 | 基礎要求 | 問題反饋的鏈接是否正確 |
8 | 基礎要求 | 視頻下載可離線觀看 |
9 | 基礎要求 | 幫助關于正確 |
9 | 基礎要求 | 賬號中心登陸后,QQ空間等自有業務會有快速登陸的提示 |
9 | 基礎要求 | 手Q微信第三方調起(記錄login_type) |
9 | 基礎要求 | icloud |
9 | 核心能力 | mttf達標 |
9 | 核心能力 | 內存和速度是否達到要求 |
9 | 用戶反饋痛點 | 與QQ音樂兼容性 |
9 | 用戶反饋痛點 | QQ農場、牧場等應用的一鍵偷菜、一鍵播種等操作 |
9 | 用戶反饋痛點 | 微云收藏、視屏離線也可觀看 |
9 | 用戶反饋痛點 | 小說、精閱可讀 |
2.風險點測試
每次提交上線,都有一些修改的代碼,這些修改的代碼涉及的影響點,也是上線前測試階段探索式測試的著力點。
根據svn日志中查找修改點或者開發PM羅列出風險,或者像回歸測試中的用到的精準測試那樣輸出測試點,以這些為測試章程進行測試,也即風險點測試。
在這兩個階段的探索式測試落地實踐已經算是比較成熟和完備的階段,如果運用得到,將會事半功倍,改革舊有模式,非常值得嘗試。下一章我們將講述探索式測試基礎系列的生活進階曲,為大家介紹在孕育和傳承階段的經驗。
原文轉載自:
本站文章除注明轉載外,均為本站原創或翻譯。歡迎任何形式的轉載,但請務必注明出處、不得修改原文相關鏈接,如果存在內容上的異議請郵件反饋至chenjj@fc6vip.cn