測試自動化如何加快驗證和確認的速度

確保嵌入式軟件的正確運行、質量、安全和保障，是嵌入式系統軟件活動的重要組成部分。在很大程度上，團隊通過軟件測試以及在整個開發過程中通過分析、可追溯性、文檔等方式來完成。安全關鍵型軟件有嚴格的驗證和確認方法，這些方法通常被編入行業標準。這就引出了一個問題：有什么區別？

驗證和審定的區別是什么？

驗證和審定的官方定義在《IEEE標準軟件工程術語表》中進行了定義。

• 驗證：確定軟件開發周期中某一階段的產品是否滿足前一階段建立的需求的過程。
• 審定：在軟件開發周期的某一階段，確定產品是否滿足前一階段建立的需求的過程。在軟件開發過程結束時評估軟件的過程，以確保符合軟件需求。
• 驗證： "我構建的產品是否正確？"
• 審定："我構建的產品是否正確？"我是否構建了正確的產品？"

這些定義抓住了這兩個測試關鍵方面的區別的核心。

驗證和審定的目標

最終目標是打造正確的產品。更多的是要確保產品的質量、安全和保障，確保它仍然是正確的產品。

驗證是軟件開發過程的一部分，它可以確保工作的正確性。軟件核查通常包括：

• 符合行業標準，確保工藝和工件符合準則。
• 審查、演練、檢查。
• 對開發過程中產生的工件進行靜態分析和其他活動。
• 執行架構、設計和編碼標準。

審定是證明最終產品符合要求。這些要求包括功能加上可靠性、性能、安全和保障。

對于物理產品來說，審定包括客戶親自看到、試用和測試產品。但對于軟件來說，審定包括軟件的執行和軟件運行的演示。它通常包括：

• 執行代碼以展示正確的功能。
• 在目標環境中執行。
• 壓力、性能、滲透和其他非功能測試。
• 直接并經常向客戶進行驗收測試。
• 使用驗證過程中的工件來說明需求到最終功能的可追溯性，特別是針對特定的安全和安保功能。

理解驗證和審定目標之間的區別很重要，軟件開發需要這兩個目標。這些活動是軟件開發工作的主要部分。組織一直在尋求在不影響安全、保安或質量的情況下簡化它們。

如何進行驗證和審定

V模型顯示了開發安全關鍵型軟件所使用的更正式的驗證和審定方法。它說明了開發的每個階段的活動以及它們之間的關系。

V模型很好地說明了開發階段和審定階段之間的關系。在每一個測試階段，軟件中更完整的部分都要對照定義它的階段進行審定。然而，V模型可能意味著瀑布式開發方法。有一些方法可以將敏捷、DevOps和CI/CD融入到這種類型的產品開發中。另一方面，審定可以確保每個階段都是完整的、正確的。

驗證包括審查、演練、分析、可追溯性、測試和代碼覆蓋率等活動，以確保團隊正確構建流程和產品。舉個例子，單元測試的執行是驗證活動，確保單元測試的可追溯性、代碼覆蓋率和測試進度就是驗證。驗證的關鍵作用是確保構建交付的工件從上一階段到規范，并符合公司和行業準則。

驗證和審定命名的混亂

各個組織可能會以稍微不同的方式使用驗證和審定。通常的做法是將審定視為軟件開發接近尾聲時發生的活動，在這一過程中，團隊向客戶（或作為其代理的測試人員）展示產品并證明滿足所有需求。嵌入式開發仍然使用工廠驗收測試（FAT）的概念。

另一個顯著的理念差異是DO-178B/C和相關標準，用于開發安全關鍵型航空電子軟件，審定不是一個已知的術語。事實上，如果驗證完成，審定被認為是多余的。

"審定是確定軟件需求是正確和完整的過程。DO-178C沒有為軟件驗證測試提供指導，因為按理說，經過驗證正確的軟件，理論上在軟件集成測試中應該不會出現審定問題，除非軟件需求不完整或不正確。" - 根據DO-178C和DO-278A對安全關鍵軟件進行認證，Stephen A. Jacklin，NASA艾姆斯研究中心。

用于安全關鍵型軟件的混合型DevOps管道

在許多嵌入式軟件組織中，完全敏捷流程的實施與行業安全保障標準對其的限制并不兼容。工件、代碼、測試結果和文檔通常有要求和設定的交付日期。進展是基于這些可交付成果（里程碑）。

在某些情況下，如大型軍事和國防項目，里程碑式的交付成果被納入合同和付款安排中。雖然這意味著瀑布法，但沒有理由將軟件開發局限于此。團隊可以使用混合模式，在內部使用迭代和敏捷方法來實現交付物的里程碑。

在討論驗證和審定時提出這個問題的原因是，團隊可以在復雜的安全關鍵型應用上使用持續集成和測試的許多好處。其中一部分是將左驗證和審定轉移到開發過程中盡可能早的位置。例如，沒有理由將單元測試推遲到所有單元都編碼完畢，也沒有理由等著用靜態分析來分析代碼，直到它準備好進行集成。

同樣，一旦有單元測試的組件準備好，開發人員就應該盡快嘗試集成測試。將自動化與持續、迭代的方法結合起來，可以為軟件驗證和審定帶來巨大的好處。Parasoft擁有在SDLC的所有階段解決測試、質量和安全問題的工具，如下所示。

V模型顯示了開發安全關鍵軟件所使用的更正式的驗證和審定的方法。

加速驗證

驗證包括確保開發的每個階段都滿足上一步的規范的工作。在軟件編碼和測試方面，驗證就是確保代碼滿足模塊設計，最終滿足高層設計和上面的要求。

此外，驗證還要確保滿足項目級需求。這些要求包括符合行業標準、風險管理、可追溯性和指標（代碼覆蓋率和合規性）。Parasoft的軟件測試自動化工具通過自動化記錄保存、文檔、報告、分析和報告等許多繁瑣的環節來加速驗證：

• 在開發人員編寫代碼時，盡早使用靜態分析來確保質量和安全。此外，靜態分析可以防止未來的錯誤和漏洞，減少檢查和測試期間遺漏的錯誤對下游的影響。
• 自動化編碼標準合規性，減少人工勞動，加快代碼檢查速度。
• 所有工件的雙向可追溯性，以確保需求有代碼和測試來證明它們被滿足。指標、測試結果和靜態分析結果可追溯到組件，反之亦然。
• 代碼和測試覆蓋率，以確保所有的需求都得到了實現，并確保實現是按要求進行測試的。
• 報告和分析有助于決策和跟蹤進度。決策需要基于從自動化流程中收集的數據。
• 從分析和測試結果中自動生成文檔，以支持流程和標準合規性。
• 標準遵從自動化，通過自動化最重復、最繁瑣的流程來降低開銷和復雜性。而且，工具可以跟蹤項目歷史，并將結果與需求、軟件組件、測試和記錄的偏差進行關聯。

加速審定

審定是證明產品符合其要求，在這里，代碼的執行是必要的，無論是在單元測試中的隔離，還是在集成的各個階段。自動化這些測試套件對于嵌入式軟件的開發來說是一個巨大的時間節省。

審定需要在目標硬件上執行。優化回歸測試可以充分利用現有的資源、人員和硬件。Parasoft測試自動化工具通過減少對手動測試的依賴性來加速審定--保持所有結果的可追溯性和代碼覆蓋率。

• 所有測試套件的自動化最大限度地減少了手動測試，并降低了因硬件可用性有限而造成的測試瓶頸。
• 基于目標和主機的測試執行根據需要支持不同的審定技術。
• 左移測試在團隊開發代碼時就開始了。它利用單元測試框架，并在代碼準備好后自動生成線束進行測試。隨著組織流程的成熟，可支持測試驅動開發和持續測試。
• 通過智能測試執行來管理變化，只專注于對已更改的代碼和任何受影響的依賴程序的測試。
• 代碼、測試、靜態分析結果和需求之間的雙向可追溯性，并支持公司范圍內的應用程序生命周期管理（ALM）工具。

軟件審定可確保團隊構建正確的軟件，以滿足客戶和市場的需求。驗證是您滿足要求的證明，并且您的產品可靠，安全，可靠，可以保護客戶。

軟件驗證可確保團隊根據組織自身的流程和標準以及市場要求的標準來構建產品。換句話說，驗證可證明產品有效，而驗證可確保您劃過所有t并加點所有i。

驗證和審定會消耗嵌入式產品開發中的大部分資源。Parasoft的軟件測試自動化套件提供了一套統一的工具來加速測試，方法是幫助團隊將測試移至開發的早期階段，同時保持可追溯性，測試結果記錄保留，代碼覆蓋率詳細信息，報告生成和合規性文檔。