搜索搜索

Bigtera分散式儲存協助教育領域建構高效AI儲存平台

應用案例2020-07-10

自從AlphaGo Zero電腦程式能夠從零開始,在不藉助任何人類經驗的條件下,能夠自己迅速學習圍棋,透過反覆與自己對弈,在進行三天後就以1000的戰績擊敗了它的前任AlphaGo,再次掀起大家對人工智慧 (AI) 的關注。

不僅是企業,如今全球各大專院校也紛紛加入熱門的AI浪潮之中,為AI的技術研發、人才培養與儲備,提供堅實力量。而各大專院校的人工智慧學院,在研究與發展上均有各自的重點,全面涵蓋了人工智慧的各個領域,相關行業與場景研究也正在如火如荼進行。

 傳統方案在AI訓練平台的痛點

 

一、巨量資料遷移的複雜性與高成本 

深度學習過程是依賴巨量資料的輸入,巨量資料也是深度學習過程模型訓練準確性的基礎。巨量的原始資料並不是立即進入到深度學習過程,大都採用離線儲存方式,因此需要兩套以上的儲存系統,在進行訓練時才會呼叫,導致大量的離線資料遷移到線上儲存空間,因此資料的遷移消耗了很多的時間與空間成本。

二、資料孤島難以統一管理

AI訓練過程中,為滿足各個階段的資料標籤化處理及搜尋、高成本效益、高效能、低延遲等不同需求,均採用多套儲存系統,產生資料孤島,增加了不同儲存系統之間資料傳輸的成本,也增加了空間成本。而多套儲存系統無法統一管理,增加營運維護的難度。

三、單一儲存介面無法支撐AI全過程

AI訓練前期資料準備階段可分為清洗、標籤化、品管過程,其中標籤化過程最為繁雜。假設以圖片檔為例,透過分頁化工具產生標籤結果檔(通常為Json格式檔案)。如果將巨量圖片檔與json檔存入到NAS儲存中造成NAS儲存的極大負載壓力,而且圖片和標籤JSON檔案互相散落存放, 不方便資料搜尋,也無法滿足AI各個階段對資料判讀的需求

Bigtera VirtualStor分散式儲存解決方案

 

一、同一平台,統一儲存介面

Bigtera VirtualStor統一儲存平台,可對外提供統一介面能力,如區塊、檔案、物件等儲存能力,滿足各類業務需求所需的儲存能力

二、智慧資料搜尋

在資料準備階段,需要準備好訓練資料集、模型測試集、模型推論資料集這三類,而Bigtera VirtualStor儲存平台提供智慧搜尋能力,透過中繼資料搜尋,並將搜尋到的物件資料存放至指定的路徑作為訓練、測試、模型推論過程使用

三、調和深度學習儲存調度流程

Bigtera VirtualStor儲存平台提供的檔案系統與物件儲存,在大數據處理中,將標籤化資料直接儲存物件儲存,儲存內部的物件儲存資料可轉為檔案儲存,提供檔案系統介面直接供深度學習過程直接呼叫,大幅提升工作效率

四、智慧儲存分層

在資料準備階段,按照資料準備、模型訓練、模型測試、模型推論等階段劃分,儲存可分為線上儲存、近端儲存,高效能儲存空間、高成本效益儲存空間等。Bigtera VirtualStor統一儲存平台,同時支援備份糾刪碼保護技術、線上儲存,採用備份資料保護,提供高效能儲存。近端儲存,採用糾刪碼資料保護,提供高成本效益的儲存空間。

AI技術在教育領域已經被越來越廣泛的應用,教育即時互動、學生人臉偵測、教學資料儲存等,解決營運維護中巨量資料遷移的複雜性與高成本,保證教學資訊的安全已經成為學校,以及教育機構選擇軟硬體系統的標準之一。對於軟體儲存來說,Bigtera一直是技術的創新者,同時在不斷的積累教育行業的實務經驗,一站式儲存解決方案協助解決教育資訊儲存安全的問題。

超融合
試用