在DevOps環境中，將性能測試作為持續交付管道的一部分正在成為一種最佳實踐。因此，性能測試必須是連續應用程序交付不可或缺的一部分。

越來越多的團隊意識到，性能下降與功能下降對應用程序質量的影響一樣大！因此，我們將重點放在性能測試上，以及如何將負載和性能測試最佳地集成到應用程序交付中。

將性能測試集成到持續交付管道中

您可以通過將選定的性能測試添加到Jenkins或您選擇的連續集成工具中并使其定期運行，來開始將性能測試集成到連續交付管道中。

根據您的需求，您可以在構建/測試基礎結構中的以下一項或多項中運行性能測試：

• 在每次構建后，以減少的性能進行“煙霧”測試。
• 每天進行一次更全面的性能測試。
• 每周一次或根據基礎結構可用性，進行一組長期運行的測試以進行耐久性測試，或進行大量負載測試以進行壓力測試。

然而，僅靠這本身是不夠的。

手動分析負載測試報告可能很耗時，并且可能需要并非每個開發人員都具備的特殊技能。如果沒有自動執行負載測試報告分析的功能，那么查看性能測試結果將變得很繁瑣。重要的績效信息也可能會被忽略。在這種情況下，您可能會連續運行性能測試，但是這樣做的好處將會受到限制。

自動收集和分析性能測試結果

要獲得連續性能測試的全部好處，您需要建立一種有效的機制來分析性能測試結果。Parasoft LoadTest及其LoadTest Continuum（Parasoft SOAtest的模塊）為您提供了有助于自動收集和分析性能測試結果的工具，并為您提供了應用程序性能的見解。

如何設置環境以連續執行性能測試

以下步驟將幫助您設置環境以使用Parasoft LoadTest和LoadTest Continuum進行連續的性能測試：

1. 查看并配置LoadTest項目QoS指標以實現自動化。
2. 部署和配置LoadTest Continuum以進行負載測試報告收集。
3. 將LoadTest項目分批配置以執行。
4. 作為連續集成的一部分，開始運行LoadTest項目批處理，并使用LoadTest Continuum定期檢查和分析性能測試結果。

我將在下面分別詳細介紹這些步驟。

第1步——查看和配置自動化的QoS指標

Parasoft LoadTest服務質量（QoS）指標是自動化性能測試結果分析的關鍵功能之一。QoS指標可將負載測試報告中的大量數據減少為一組有關您的應用程序性能的成功/失敗答案。Parasoft LoadTest提供了豐富的QoS度量標準集，從可用閾值度量標準到自定義腳本度量標準，允許您使用LoadTest API進行高級負載測試數據分析。

要準備用于自動化的性能測試，您需要查看LoadTest項目中的QoS指標。運行一個LoadTest項目并檢查報告：用于手動分析負載測試報告的所有成功和失敗標準都應表示為QoS指標。將盡可能多的指標轉換為“數字”指標。數字QoS指標不僅返回成功/失敗結果，而且還量化該指標的關鍵性能指標。例如，驗證CPU利用率閾值的指標還將提供實際的CPU利用率值作為數字指標。

數字度量標準在LoadTest Continuum中被廣泛使用，以繪制隨時間變化的度量標準性能：

圖1.在LoadTest Continuum報告中繪制的數字度量結果。

為LoadTest項目配置QoS指標后，就可以設置LoadTest Continuum進行性能數據收集和分析了。

第2步——部署和配置LoadTest Continuum

部署和配置LoadTest Continuum ltc.war Web應用程序歸檔文件（從9.10.2版開始在SOAtest/LoadTest安裝目錄中提供），如LoadTest文檔的“LoadTest Continuum”部分中所述。

第3步——將LoadTest項目配置為批處理以執行

將您的LoadTest項目組合到.cmd腳本中以批量執行。通過LoadTest .cmd腳本，您可以指定將組成不同性能測試集的項目組，例如前面提到的“煙霧”測試，每日測試或周末測試。

配置.cmd腳本，以將報告數據發送到LoadTest Continuum，如LoadTest文檔的“將報告發送到LoadTest Continuum”部分中所述。設置您的持續集成工具，以在構建過程中或定期運行LoadTest .cmd腳本。例如，在Jenkins中，您可以使用“執行Windows批處理”命令構建步驟來運行LoadTest .cmd腳本，如下所示：

%SOATEST_HOME%\lt.exe" -J-Xmx4096M -cmd -run "%WORKSPACE%\ltcontinuum.cmd

第4步——在Parasoft DTP中設置儀表板

Parasoft DTP包含報告和分析儀表板，使您可以使用各種小部件和報告來監視軟件項目的運行狀況和進度。

使用Parasoft LoadTest Continuum DTP小部件，您可以將最新的LoadTest結果摘要添加到DTP項目儀表板，并提供一種快速的方法來評估日常項目狀態檢查例程中性能測試結果的狀態。

該小部件顯示最近一次LoadTest運行的總數，通過的和失敗的測試以及指標的數量。要更詳細地查看結果，請單擊小部件中的項目鏈接，然后LoadTest Continuum頁面將在新選項卡中打開。

圖2. DTP儀表板上的LoadTest Continuum小部件。

要在DTP中設置LoadTest Continuum自定義HTML窗口小部件，只需執行以下步驟：

1. 在Parasoft DTP報告中心中，創建一個新的儀表板或打開一個現有的儀表板。
2. 按添加小部件。在“添加小部件”對話框中，選擇“自定義”->“自定義HTML小部件”。
3. 將以下文件的內容從LoadTest Continuum安裝復制到對話框的HTML文本區域：%TOMCAT_HOME%\webapps\ltc\dtp\ltc_dtp_widget.html
4. 使用自定義設置修改HTML：
1. 找到getServerURL()函數。使用LoadTest Continuum安裝的主機和端口修改返回值。
2. 找到getProjectName()函數。使用您要在小部件中跟蹤的項目的名稱修改返回值。
5. 按創建。

第5步——審查和分析性能測試結果

Parasoft LoadTest Continuum既是LoadTest報告的收集點，又是分析工具，可以組織多次運行的負載測試數據。LoadTest Continuum將數據組織成一個信息金字塔，使您能夠以各種詳細程度查看性能測試結果，從頂部的高層每日摘要到核心的QoS指標結果，再到詳細的負載測試報告，底部：

圖3. LoadTest Continuum每日摘要和測試指標視圖。

考慮以下工作流程作為定期（每日）測試審查的示例：

1. 對于失敗的測試，請執行以下步驟：
1. 打開測試歷史記錄視圖，檢查測試是否定期或偶爾失敗。第一種情況很可能表明回歸。第二種情況是不穩定。
2. 檢查測試的失敗指標：
1. 對于數字指標，請打開“指標歷史記錄”圖形視圖。使用指標歷史記錄圖表獲得見解。例如，如果度量標準所屬的測試不穩定，那么度量標準圖形的微小波動通常表明度量標準閾值需要調整。較大的波動表明代碼或基礎結構存在問題。
2. 打開此測試的所有圖形鏈接。在同一測試中檢查其他數字指標的圖，以查看未超過指標閾值的波動。
2. 如果尚未設置LoadTest Continuum DTP小部件，請先在LTC項目主頁面中檢查測試和指標的成功/失敗摘要。
3. 對于失敗的項目，請單擊指向LTC項目頁面的鏈接以檢查詳細信息。
4. 首先在LoadTest Continuum DTP小部件中檢查最新負載測試運行的狀態。
5. 對此指標鏈接的“所有圖形”執行相同的操作，以檢查其他測試的相似指標是否受到影響。如果是，則表明您的應用程序或基礎結構存在系統性問題，而不僅限于單個測試（請參見圖4）。
6. 要進行更深入的分析，請打開失敗測試的HTML或二進制“負載測試”報告。

圖4.負載測試連續體相同度量標準視圖的所有圖形都顯示了在多個測試中CPU％度量標準的性能提高。

將性能測試過程集成到連續交付管道中對于確保軟件質量至關重要。為了充分利用此過程，您需要為性能測試結果分析自動化建立有效的機制。

與Parasoft保持連續

您可以在Parasoft SOAtest中使用Parasoft LoadTest和LoadTest Continuum進行設置，該軟件提供了實現所有崇高測試結果分析自動化目標所需的一切。通過功能測試中的復雜自動化，您可以獲取更高質量的軟件。

學到更多：

• 通過這5種美妙的技術組合成為更智能的軟件測試人員
• 什么是DTP，為何如此強大？
• 了解有關Parasoft SOAtest和Parasoft LoadTest的更多信息