在這三篇博客文章中，我們深入了解了如何構(gòu)建有效的測(cè)試策略以及如何將測(cè)試自動(dòng)化用作該策略的一部分。我采訪了Coveros測(cè)試自動(dòng)化總監(jiān)Max Saperstone。Max是一位經(jīng)驗(yàn)豐富的測(cè)試工程師，專注于CI/CD流程中的測(cè)試自動(dòng)化。他向各種客戶伸出援手，以幫助他們開展測(cè)試和自動(dòng)化工作。Max還是一位經(jīng)驗(yàn)豐富且經(jīng)過認(rèn)證的敏捷開發(fā)人員，在測(cè)試和敏捷開發(fā)人員會(huì)議上的演講活動(dòng)受到追捧。我們很幸運(yùn)能在此關(guān)頭擁有Max的經(jīng)驗(yàn)，在Parasoft討論我們心中最接近的話題。

這是一個(gè)由三部分組成的系列文章的一部分，該系列文章討論了Max關(guān)于測(cè)試自動(dòng)化入門的想法。一件事很明顯，Max希望幫助客戶退后一步，在進(jìn)入測(cè)試自動(dòng)化之前考慮一下全局。幫助他的客戶回答重要問題，例如“我為什么要自動(dòng)化測(cè)試？”這樣他們可以為自己的工作設(shè)定明確的目標(biāo)。我們還簡(jiǎn)短地討論了API測(cè)試，Max似乎和我們?cè)谕豁?yè)面上——API測(cè)試至關(guān)重要。讓我們看看Max怎么說：

測(cè)試自動(dòng)化入門

Mark Lambert：嗨，Max，很高興再次與您在一起。我知道您在Coveros的職責(zé)是幫助和協(xié)助客戶制定有效的測(cè)試自動(dòng)化策略。您能告訴我們您認(rèn)為什么是有效的測(cè)試自動(dòng)化策略嗎？團(tuán)隊(duì)?wèi)?yīng)該從哪里開始？

Max Saperstone：嗨，Mark，這是一個(gè)很好的問題！有趣的是，正如您所知道的，我的專長(zhǎng)是自動(dòng)化，盡管如此，當(dāng)團(tuán)隊(duì)開始時(shí)，我的建議通常是：“不要僅僅涉足自動(dòng)化。”

真正最好的起點(diǎn)是從整體上看質(zhì)量檢查。因此，首先要了解的是“整體質(zhì)量”對(duì)您的項(xiàng)目意味著什么，以及如何進(jìn)行驗(yàn)證。只有知道了這些問題的答案后，您才可以真正地決定要自動(dòng)化什么，以及不想自動(dòng)化什么。

對(duì)我而言，這始終是最大的挑戰(zhàn)之一。我看到很多團(tuán)隊(duì)開始涉足開始編寫Selenium腳本或QTP腳本，并且他們有一堆“東西”。但最終，這些東西是如何使用的？您如何處理測(cè)試結(jié)果？您如何決定何時(shí)發(fā)貨？

我的建議通常是退后一步，弄清楚您需要驗(yàn)證的內(nèi)容以及如何進(jìn)行驗(yàn)證。有一種非常酷的方法叫MSCW。

Mark Lambert：MSCW方法是什么？

Max Saperstone：MSCW方法實(shí)際上只是一個(gè)縮寫。這是您必須自動(dòng)化的東西，您應(yīng)該自動(dòng)化的東西，您可以自動(dòng)化的東西，以及不能自動(dòng)化的東西。這個(gè)想法實(shí)際上是在您的自動(dòng)化策略中花一些時(shí)間和思想，以找出最大的收益所在。

對(duì)我而言，這總是可以追溯到ROI。持續(xù)運(yùn)行的測(cè)試有哪些？您的應(yīng)用程序真正有價(jià)值的地方是什么，您不能在其中犯任何錯(cuò)誤？對(duì)用戶的影響最大的是什么？您從永遠(yuǎn)屬于“野性”的東西開始，并且始終屬于“應(yīng)有的”東西。

然后，您進(jìn)入了“可能”和“想要”的其他區(qū)域。例如，測(cè)試可用性，要實(shí)現(xiàn)自動(dòng)化確實(shí)是一件非常困難且困難的事情：如何告訴機(jī)器感覺正確與不感覺正確？

另一個(gè)難以自動(dòng)化的領(lǐng)域是第三方集成。例如，假設(shè)您具有FitBit集成，則最終可以使它自動(dòng)化。但這將需要數(shù)周或數(shù)月的時(shí)間。真正值得花這么長(zhǎng)時(shí)間來使之自動(dòng)化嗎？

當(dāng)我編寫測(cè)試策略時(shí)，我會(huì)花一些時(shí)間來制定我的測(cè)試計(jì)劃。我真正關(guān)心的應(yīng)用程序領(lǐng)域是什么？哪些領(lǐng)域?qū)⒁子趯?shí)現(xiàn)自動(dòng)化？我通常從那開始。

Mark Lambert：那么您如何組織這個(gè)呢？

Max Saperstone：當(dāng)然，這實(shí)際上仍是從功能層面上講。只要退后一步，就考慮一下測(cè)試金字塔和質(zhì)量所涉及的不同角色來考慮您的策略，因?yàn)樗粌H僅是測(cè)試人員。開發(fā)人員應(yīng)該在測(cè)試金字塔的下部編寫單元測(cè)試和集成測(cè)試。在某個(gè)時(shí)刻，測(cè)試人員像冰山一角一樣接管了工作。在表面之下，您要確保所有代碼都已通過單元測(cè)試進(jìn)行了測(cè)試-確保代碼執(zhí)行開發(fā)人員認(rèn)為代碼應(yīng)執(zhí)行的操作。下一步是集成測(cè)試，它可以確保應(yīng)用程序的不同部分以其他部分認(rèn)為的實(shí)際方式工作。最后，您擁有測(cè)試人員，他們坐在冰山的頂端，他們真的想確保整個(gè)應(yīng)用程序都能完成最終客戶的實(shí)際需求。

如果您沒有正確地完成這兩個(gè)基礎(chǔ)部分-自動(dòng)化會(huì)獲得回報(bào)，并且在這些低層級(jí)上又快速又容易-頂層的錯(cuò)誤將很難調(diào)試和修復(fù)。你不知道。 “這是功能問題嗎？是組件問題？還是代碼問題？”但是，如果您知道所有其他所有功能均正常運(yùn)行，則可以很輕松地解決這些問題。

但是，如果您知道所有單元測(cè)試和集成測(cè)試均已通過，那么將故障診斷為可能的功能問題會(huì)更快。相反的情況是，自動(dòng)化策略較差，要找出根本原因，需要大量調(diào)試，而好的自動(dòng)化策略問題則要簡(jiǎn)單得多。

API測(cè)試

Mark Lambert：在Parasoft，我們已經(jīng)討論API測(cè)試已有近二十年了，但是，對(duì)于許多人來說，采用API測(cè)試仍然是新鮮事物。這可能是由于API的隱藏特性所致，它位于UI和代碼之間的層中，許多人看不到它。您認(rèn)為前進(jìn)的方向是什么？組織如何真正以最有效的方式利用API測(cè)試？

Max Saperstone：這是一個(gè)很好的問題。我喜歡API測(cè)試，因?yàn)閬碜詼y(cè)試人員（不一定訪問所有代碼），這是從黑匣子角度進(jìn)行大量測(cè)試的好方法。僅僅因?yàn)槲也恢来a是做什么的，并不意味著我對(duì)API沒有很好的了解。

希望我能看到一個(gè)API期望輸入什么以及它正在生成的輸出，無論是否有WSDL或相關(guān)的草率文檔。API測(cè)試使我能夠以非常快速的方式進(jìn)行測(cè)試，因?yàn)槟菚r(shí)它是數(shù)據(jù)驅(qū)動(dòng)的。我有一個(gè)端點(diǎn)，我拋出了許多我認(rèn)為有效的不同輸入組合，并檢查了所有不同的輸出。我不一定真的需要了解很多關(guān)于代碼的知識(shí)，并且有很多非常好的框架可以為我處理這些事情。

因此，從測(cè)試人員的角度來看，這絕對(duì)是我喜歡API測(cè)試的原因。另外，它們速度快，通常不易碎。如果您有一個(gè)組織來設(shè)置合同并具有定義明確的端點(diǎn)（并且不會(huì)經(jīng)常更改），那么對(duì)API測(cè)試的維護(hù)就很少，它們可以為您提供有關(guān)系統(tǒng)的大量信息。

Mark Lambert：我認(rèn)為您剛才談到的關(guān)于API測(cè)試快速且穩(wěn)定的原因，確實(shí)是它們變得非常有價(jià)值的原因。而且，它們是組織內(nèi)測(cè)試人員和開發(fā)人員之間的一種很好的溝通機(jī)制。

Max Saperstone：絕對(duì)。通常，當(dāng)我談到組織的集成測(cè)試時(shí)，API測(cè)試是其中的很大一部分。它們速度很快，為您提供了許多真正有價(jià)值的信息，并且比UI測(cè)試更加穩(wěn)定。

在下一篇文章中，我們與Max討論建立測(cè)試策略以及他對(duì)測(cè)試金字塔的看法。

在我們錄制的網(wǎng)絡(luò)研討會(huì)中，Max Saperstone提供了更多信息，內(nèi)容涉及如何更有效地交付具有行為驅(qū)動(dòng)開發(fā)（BDD）的高質(zhì)量軟件。查看更多視頻。