從原始資料到工程設計結果：NI Technical Data Management (TDM) 解決方案

針對必須管理大量測試與模擬資料的工程師，此篇技術文件將可提供相關協助。文章將說明測試資料管理的多種方法，並包含其優缺點。文中並將提及新的 NI 解決方案，以因應耗時且昂貴的資料管理難題。

資料管理的要點

時至今日，由於產品的設計、開發，與檢驗過程均必須進行資料擷取，因此大幅提升了生產的複雜性。測試工程師除了必須以緊縮的時間與經費進行複雜測試之外，消費者亦更想獲得物美價廉的產品。從模擬系統、資料擷取硬體，與自動化系統的成本，乃至於執行並分析測試的相關個別需求，所有公司均投下大量成本才能得到所需的資料。然而，當建構完整的測試系統時，公司往往無法設計出至臻完美的解決方案；癥結發生在忽略了資料管理的方式。不斷提升微處理器的速度與儲存功能，均降低了軟硬體的成本，卻也造成檔案與資料庫的資訊爆炸。正由於目前技術可迅速保留巨量的資料，因此管理並妥善利用資料反而成為真正的難題。在現今競爭激烈的商業環境中，公司必須迅速將測試與模擬資料轉為有用資訊，以有效進行產品開發，並縮短上市時間。

並非所有公司均能負擔設計測試系統的龐大成本。過去幾年來雖然已有多組模擬與測試系統問世，而各製造商與相關設備卻也相互獨立，無法搭配使用。因此，若將資料儲存為不同的檔案格式或不同的儀器中，則可能無法取得有用的資訊。這些因素均對資料交換與分析作業造成阻礙，並特別難以取得特定的資料集，以進一步產生決策。

即便能夠持續使用統一的資料格式儲存有效資訊，要能讓其他人同時輕鬆存取並有效利用這些資料，仍有其一定難度。沒人能夠保證公司內的所有人，均能夠找到符合自己所需的資料。就算他們確實找到所需的資料，也難以保證他們懂得使用正確的工具，以迅速將資料轉換為有用的資訊。常見的解決方式，則從設定簡單的檔案與資料夾名稱，乃至於複雜且昂貴的資料庫解決方案。若要能順利進行完整的開發過程，則必須能夠將原始資料轉為簡單明瞭的結果，並讓公司所有人輕鬆共用這些資訊。

 

傳統的資料管理方式

針對要能建立並維護可調整資料管理系統的難題，許多公司仍使用簡單的檔案與資料夾命名方式，管理重要的資料資產。雖然檔案與資料夾的管理方式不需投入額外成本，但是當使用者必須手動深入長串路徑以尋找所需資料時，即會耗費許多時間。若所需的資料是以不同檔案格式儲存於不同機器之中，那只會讓資料搜尋作業更行複雜。使用者往往必須要耗費更多時間，才能跨多組機器與檔案格式以蒐集資料與測試結果。檔案與資料夾命名的資料管理系統效率極低、拖累產能，並可能因為進行資料移動或名稱更改時，就造成資料毀損。

圖 1. 跨多組測試機器的檔案與資料夾方式。

當然，如果將這些資料載入如 Microsoft Excel 的可靠資料表中，使用者可能還能暫時因應這些難題。但是當使用者必須透過這種商業用途的資料表軟體，耗時費資源的重新建立一般工程分析作業時，所付出的成本可能遠遠超過購買專屬工程軟體的價格。

若要能永遠解決此種困擾，就是使用能夠管理技術性資料的專屬資料庫。由於使用者可輕鬆搜尋並檢索此種資料庫所整理的資料，因此許多測試工程師將之視為管理測試資料的唯一方法。即便如此，若針對資料管理系統建置如 Oracle 或 Access 的標準資料庫，亦有多項缺點。這些資料庫並無法立刻使用測試資料；使用者必須先行籌畫數個月，以建置大型資料模型與資料庫設計作業。針對較大型的解決方案，設定資料庫解決方案的初始成本即可達美金 6 位數之譜，而且事後必須隨時進行系統維護，保持資料庫運作無虞。每當測試需求改變，就必須耗費額外時間與精力，以擴充資料庫設計並客制化用戶端軟體。此種維護與調整作業不僅將耗費越來越多的成本，使用者更必須請教 IT 專家以保持系統運作。而且，IT 團隊也不常能有餘力協助測試團隊。

圖 2. 將資料儲存至中央處理器的資料庫模式。

直到最後，檔案/資料夾命名方式或資料庫方式，均無法符合大部分測試團隊的需求。上述方式在設計階段似乎為可接受的方式，但是接踵而至的難題不僅於系統維護作業，往後當測試需求改變或要儲存更多資料時，均將發生效率低落的問題。

 

NI Technical Data Management (TDM) 解決方案

NI 體認到，當工程師設計並提升測試系統時，均將面對這些管理難題。不論目前的解決方案必須在 1 個星期之內耗上數個小時，以穿過多種路徑與檔案尋找特定的 1 筆測試資料；或是要重新設計昂貴的資料庫與用戶端應用，以獲得額外資訊。此 2 種方法均缺乏 1 項功能—可依測試資料所產生的工程設計智慧。使用者必須先耗費大量時間進行設計並執行測試，才能夠迅速由測試資料轉為測試結果。目前最常見的情況是，使用者即便沒有適當的資料管理工具，也必須將測試資料轉換為測試結果；因此，NI 開發了資料管理解決方案以因應這些難題，並要能輕鬆將蒐集的資料轉為有用的資訊。

圖 3. NI TDM 解決方案包含 3 項元件。

NI 將完整的資料管理系統分為 3 個主要部分：彈性且有組織的檔案儲存功能、完整的搜尋功能，與互動的後處理環境。有鑑於此，NI 技術資料管理 (TDM) 解決方案亦包含 3 個元件：TDM 資料模型可將測試檔案儲存為有效資訊、NI DataFinder 可搜尋任何檔案格式的資料，與 NI DIAdem 軟體進行分析與報表製作。雖然許多工程師均已擁有自己原始資料檔案的寫入、分析，與報表製作元件，但是共同點往往僅限於儲存 ASCII 檔案並於 Excel 中執行分析作業；大多數的工程師仍缺少中介元件 NI DataFinder，以完成資料管理的步驟。

NI 資料管理解決方案的基礎，即是將現有資料儲存為大量的背景資訊 (Meta information)，並可接著透過 NI DataFinder 進行搜尋。透過 NI TDM 資料模型，即可輕鬆儲存相關屬性，並以測試檔案建立自己的資料層級。一般 TDM 與 TDM 串流檔案均使用 NI DIAdem、LabVIEW、LabVIEW SignalExpress，與 LabWindows^™/CVI 所撰寫，可將測試資料建構為 3 個層次 – 檔案、群組，與通道。TDM 資料模型可免去設計並維護客制檔案格式的負擔。TDM 資料模型可針對使用者的需要而進行調整，以最高效率的方式，將測試與模擬資料記錄至 LabVIEW 與 LabWindows/CVI 中。系統將建立完整的屬性集，並與檔案、群組，與通道建立連結，可大幅提升搜尋條件的範圍。

圖 4. TDM 資料模型可儲存記錄完善的測試資料。

一旦透過合適的屬性記錄資料之後，使用者不需設定並維護大型資料庫，即可使用 NI DataFinder 搜尋並整理測試資料。有了 NI DataFinder，不論是何種檔案格式，或位於公司內部網路的任何位置，均可跨所有資料檔案執行類似網際網路的搜尋作業。只要安裝 NI DataFinder 搭配 DIAdem，並指定資料檔案的位置，即可如網際網路上搜尋資訊一般，搜尋自己所需的檔案。

NI DataFinder 可自動建立並維護所有檔案的索引，除了符合 NI DataFinder 檔案類型與位置準則的設定之外，並可藉以搜尋所需的檔案。使用者可於佇列條件中，使用這些自動儲存於 NI DataFinder 索引的屬性。當建立、刪除，或編輯有效的資料檔案時，NI DataFinder 將自動針對檔案的階層與屬性進行註記，並重新建立索引。針對新建立的檔案，當使用者尚未將其屬性儲存於 NI DataFinder 中時，系統將自動新增這些屬性至索引中。NI DataFinder 將根據檔案事件與其內容，動態管理該資料表格並進行更新。因此，不同於其他昂貴的資料庫解決方案，使用者不需重新設計資料管理解決方案，即可依自己需要變更並新增相關資訊。

NI TDM 解決方案的最後元件即為 NI DIAdem，可於原始資料與設計結果之間迅速進行後測試分析與報表製作。使用 DIAdem，即可利用數百項內建的工程分析函式，以從原始資料中粹取有效結果，並透過簡單易用的報表範本進而分享結果。DIAdem 亦針對 DIAdem DataFinder 與 NI DataFinder Server 版提供內建介面。因此，使用者可於 DIAdem 執行互動式搜尋，進一步儲存並自動化該佇列。在此單一環境中，使用者可依趨勢發掘資料、分析這些趨勢，並將結果儲存至報表中。根據測試團隊的規模與所蒐集的資料量，NI DataFinder 解決方案可因應使用者的需求。

 

NI DataFinder

透過 NI TDM 解決方案的重要中樞元件，即可客制化資料管理解決方案。一旦安裝 NI DataFinder，即可設定搜尋特定檔案類型的專屬資料夾與路徑。NI DataFinder 可針對這些檔案自動建立完整索引。使用者只要輕點滑鼠，即可新增或移除搜尋範圍，並可設定 NI DataFinder 索引自己的客制檔案格式。

一旦設定搜尋範圍，即可透過 DIAdem 中的 2 組介面查詢所需資料 – 簡易搜尋與進階搜尋。在簡易搜尋中，使用者僅需輸入關鍵字或數值即可進行搜尋，並得到包含這些數值的所有相關檔案。透過進階搜尋，即可找尋特定層級 (檔案、群組，與通道) 的屬性，並獲得通道、群組，或檔案列表的結果。舉例來說，使用者可搜尋「Group.Test_Status = fail」，並取得包含此屬性的所有群組。在此案例中，使用者可針對搜尋準則，跨多種符合的檔案與格式以搜尋所有通道，並載入各個檔案所傳回的通道。由於僅載入所需檔案的通道或屬性，因此可進一步控制相關資料。

 

[+] Enlarge Image

圖 5. 使用進階搜尋功能，即可迅速發現測試資料中的趨勢與關聯。

立即可用的 NI DataFinder 可於使用者指定的搜尋範圍內，自動進行 TDM 與 TDM 串流檔案的索引。然而，使用者亦可能想用 NI DataFinder 搜尋多個不同格式的檔案。則此時可使用 DataPlugin 將檔案載入至 DIAdem 或 LabVIEW。只要任意的資料檔案擁有 DataPlugin，使用者即可如 TDM 檔案一般的檢索、搜尋，並載入該檔案。在 ni.com/dataplugins 提供超過 75 組 DataPlugins 可免費下載。使用者亦可透過包含範例的 DataPlugin API，以客制格式撰寫所需的 DataPlugin。

 

圖 6. 索引功能將儲存檔案中所有敘述性的資訊，因此可直接根據這些數值進行搜尋。

如先前所述，NI DataFinder 索引功能具有完全的自行設定與自行維護。一旦指定需要索引的資料夾與路徑，NI DataFinder 將針對檔案所儲存的全部 Metadata 建立相關索引。當以搜尋範圍蒐集測試資料並儲存檔案之後，NI DataFinder 將收到 Windows File Event 通知，接著自動進行新資料檔案的索引。若有檔案變更或遭刪除，NI DataFinder 亦可監控所觸發的檔案事件，讓使用者保持最新的資料索引。NI DataFinder 具有如名稱與敘述的多項通用屬性，並儲存於所有檔案之中。然而在許多測試作業中，使用者可能想要儲存如 Test Status 或 Test Procedure 的客制屬性，使其能夠進行索引或搜尋作業。由於 NI DataFinder 為所有 Metadata 的完整自行調整索引，因此索引可自動囊括這些新屬性，並搭配通用屬性進行索引。在傳統資料庫解決方案中，若一開始並未適當設定資料庫，則必須投下大量成本才能夠新增屬性。

 

DIAdem DataFinder 與 NI DataFinder Server 版

NI 提供 2 組資料管理選項 – DIAdem DataFinder 與 NI DataFinder Server 版。DIAdem DataFinder 包含於所有版本的 DIAdem 中，可於本端或網路上搜尋所儲存的資料。較大型的團隊必須透過多種方式、多種檔案格式，與受限的網路頻寬，以跨多組機器存取資料。

NI DataFinder Server 版，為可安裝至伺服器的軟體；並不需要繁複的 IT 作業即可進行安裝與設定。如同本端 DIAdem DataFinder 一樣，使用者可針對索引作業，設定特殊搜尋範圍與檔案格式。一旦設定搜尋範圍後，只要是執行 DIAdem 的多組用戶端電腦，亦將同步使用伺服器的單一主要索引，以蒐集測試資料。不需在多個機器中搜尋所有的檔案與資料夾，即可找到並分析所需的資料。只要確定目前連接至本端的 DIAdem DataFinder 索引，再接著選擇連接至 NI DataFinder Server 版，即可立刻連接至伺服器的索引。

 

圖 7. NI DataFinder Server 版將從多組測試工作站集中 Metadata，讓使用者可同步存取多個用戶端的資料。

 

NI DataFinder Server 版不僅可於本端機器，亦可於網路連結的機器中迅速存取資料。若系統能加速存取更多資料，則使用者可專注於更重要的設計與分析工作，省下搜尋資料的寶貴時間與資源。除了可迅速找到所需的資料，使用者亦可 1 次檢驗多個檔案，以發現重要的趨勢或反常現象。

從可支援多組並行連結，乃至於內建的使用者管理與歸檔功能，NI DataFinder Server 版可透過 NI DataFinder 為大型團隊帶來多項優勢。若需更多 NI DataFinder Server 版簡化模擬與測試資料管理解決方案的資訊，請參閱 NI DataFinder Server 版技術文件。

 

分析測試資料並製作報表

NI TDM 解決方案的最後元件，即為用戶端的佇列與報表製作功能 — DIAdem。DIAdem 針對 NI DataFinder 內建使用者介面，透過如網際網路的關鍵字搜尋，或功能強大的進階搜尋，即可協助搜尋所有建檔的資料檔案。DIAdem 整合資料搜尋功能與常見的資料呈現、分析，與報表製作環境。不論是透過 DIAdem DataFinder 或 NI DataFinder Server 版，一旦找到所需的資料，即可使用數百項內建的分析函式分析該資料，並建立統一報表以分享結果。由於 DIAdem 可從使用者最常用的佇列、報表，與互動檢視功能，匯出可再用的範本，因此更提供了可客制化的後處理解決方案。除了將 DIAdem 與 NI DataFinder 做為資料處理環境之外，亦可透過 VBScript 與客制對話框進行自動化。工程師常常使用此解決方案，做為完全客制化資料管理與評估應用的基礎。

 

[+] Enlarge Image

圖 8. DIAdem 可進行資料後分析、報表製作，與自動化。

 

結論

NI 資料管理解決方案，可囊括所有可調整、高效益，與即時搜尋資料管理系統的基礎功能。使用者不再需要擔心詳細的檔案分析語法、資料模型/資料表架構、資料庫管理、搜尋 GUI 設計，或來自於 IT 部門的外援。使用者僅需直接透過簡單易用的 DIAdem DataFinder 或 NI DataFinder Server 版，以自動建立並維護資料索引。最後，可利用 DIAdem 內建的搜尋 GUI、互動式資料分析與報表製作環境，迅速將資料轉為所需的報表與資訊。

DIAdem DataFinder 與 NI DataFinder Server 版的優點包含：

• 低成本的購買與維護作業
• 不需安裝、設計，並維護昂貴又複雜的資料庫
• 簡單設定 – 只要設定需要進行索引的路徑，並針對所有資料格式安裝正確的 DataPlugins
• 自動索引的資料檔案將新增至 NI DataFinder 搜尋範圍
• 可從單一使用者自動調整為完整的設計團隊與企業
• 輕鬆為客制檔案格式建立 DataPlugin
• 以 DIAdem 進行自動資料分析與報表製作

LabWindows 商標為 Microsoft 公司授權使用。Windows 為 Micorsoft 微軟公司於美國與其他國家的註冊商標。