https://www.informationsecurity.com.tw/Seminar/2024_PaloAlto/
https://www.informationsecurity.com.tw/Seminar/2024_PaloAlto/

觀點

巨量資料來襲,雲端運算新企機 研討會

2013 / 05 / 31
本篇文章內容由廠商提供,不代表資安人科技網觀點
巨量資料來襲,雲端運算新企機 研討會

今年資訊業的三大議題,分別是物聯網、雲端儲存、與巨量資料。這三者雖然題目各異,但在實務上是屬於同一線上的上中下游。上游資料是由網路上的設備物件(物聯網)而來,而這些資料存放在中游的雲端儲存系統,再交給下游的巨量資料分析將大量的資料即時轉為有用的資訊,最後這些資訊可以立刻被各種行動設備所存取利用。本次活動聚焦於後兩者的介紹:巨量資料Hadoop與雲端儲存SynDriver。


研討主題
JCNet與伈創資訊特別邀請國家高速網路與計算中心講師,舉辦「巨量資料來襲,雲端運算新企機」研討會,先後在新竹、台北、高雄、台中舉行四場研討活動,已於日前圓滿落幕,吸引國內許多研究機構與學術單位前來參加,資訊服務業者出席也十分踴躍。會中探討Hadoop與SynDriver在巨量資料與雲端儲存領域的應用與未來的商機。未來的市場機會,將從層層堆疊的網路應用,走向資料本身,所謂「資料之所在,商機之所在」。資料在哪裡,機會就在那裡,直接命中了雲端巨量資料分析的兩個範疇:儲存與運算。


How big is big? 或是How many are big?
Big Data,有人稱做「巨量資料」,有人稱做「海量資料」。到底是一個超大檔案叫做big data,還是數量超多的小檔案叫做big data? 答案是兩者皆是。舉兩個例子,目前最大的big data是人類的DNA資料,一個處理完畢並壓縮過的DNA 資料檔案的大小,可以達到200 TB,目前市場上沒有一款資料庫可以收容與處理那麼大的單一table,如此一個超大的單一檔案我們習慣稱之為「巨量資料」。另一個不同的例子 – 沃爾瑪百貨,該公司一個小時的資料量,若是列印成文件,可以裝滿6千萬個五層資料櫃,如此驚人的檔案數量,我們習慣稱之為「海量資料」。儲存與處理這些大又多的鉅量資料,絕對是未來的重要課題 (在你看到這篇文章的時候,已經變成「眼前的」重要課題),相關的雜誌文章與網路討論已經舖天蓋地的佔領你的眼球,趨勢又迅又猛,因為攸關眼前的利潤與未來的競爭力。


駕馭巨量資料
巨量資料的挑戰在於如何妥善處理三個維度的管理:資料的數量、資料的增加率(即時與批次)、多樣性(結構與非結構)。隨著資料量的增幅更大,以及資料格式的更多樣性,企業渴望得到即時分析的需求也愈明確,憑藉即時的情報在競爭中取得優先,並提高獲利能力。

吉祥物是一頭黃色大象的Hadoop,是一款開放源碼的分散式運算平台,主要應用在大量的資料運算與處理。是目前最熱門用來處理、分析、與查詢巨量資料的平台,運用在雲端分析各種非結構性資料,諸如消費者習性、風險評估、和存貨控制等等,就像上述的沃爾瑪百貨使用Hadoop做為先進的銷售預測分析,還有Facebook利用Hadoop分析塗鴉牆上的關鍵詞出現的頻率,與提升搜尋的精準度。由於免費與高效能,Hadoop內嵌在各大雲端廠商的產品之中,已是進行中的趨勢。而整合MapReduce演算法架構後的Hadoop,更是目前大企業開發雲端運算的優先選擇。


先儲存後運算
巨量資料的兩項重點:「儲存與運算」,先有儲存之後才有運算。本次活動除了探討Hadoop這款雲端運算平台,研討會的另一個主題就是雲端儲存:SynDriver雲端儲存系統。

雲端儲存提供的基本功能有三,簡稱為ASS - Access存取、Share分享、Sync同步。以往我們都將資料存放在電腦的硬碟裡,對於行動工作者是很不方便的,會被單一個工作地點綁住。如果將資料儲存在雲端,就可以隨時隨地使用任何設備存取自己的檔案資料。如此一來,我們就可以不受時間與地點的限制,隨時隨地進行工作。雲端儲存為未來的工作型態建立了基礎的環境。

資料一旦放在雲端,不僅自己可以方便存取,分享給他人也變得輕鬆容易。使用雲端儲存,可以簡單的透過寄送URL link給工作夥伴或合作廠商,收件者便可以透過link在網路下載檔案。這樣的分享方式即時又有效率,並且可以傳遞大型檔案,解決email不能寄送大型檔案的問題。關於同步,我們希望資料可以在各種設備中輕鬆地來回轉移,這些設備包含桌上型電腦、Notebook、智慧手機、與平板電腦。資料同步讓我們可以在雲端集中保存與管理檔案,然後系統會自動同步到自己的任何設備上,使得工作、娛樂、與生活都變得非常便利。


雲端儲存更重視穩定與安全

除了提供三個基本的雲端儲存功能,SynDriver更重視系統的穩定性與安全性。在穩定性方面,SynDriver提供分散式儲存、AAA異地備援、硬碟損壞自動回復等功能,讓系統不僅更穩定,還能提供容量彈性擴充以及擴增無須停機的能力,這帶給管理者很大的方便性,對企業未來的成長也提供了長期支持的保證。

在安全性方面,SynDriver做了多個面向的安全設計,包含認證授權、資料加密、與管理監控。在認證授權方面可以與AD、LDAP整合,在此基礎上分派權限、群組、與儲存空間。SynDriver也支援OTP雙因子認證,給使用者有更高層級的安全保障。在加密方面,分三個層次作業,包含帳號密碼、資料儲存、與資料傳輸,並運用三種加密技術對此三個層次分別加密,提升安全等級,讓企業用戶與資訊管理者更有信心。在管理監控方面,支援流量管理與頻寬管理,可以設定與限制流量和頻寬的使用,SyDriver還提供計量與計價系統,為企業在內部管理上或雲端廠商在營運上,提供一個管理的介面。

在可預見的未來十年內,面對雲端運算的浪潮,企業在資料儲存的需求會有更高的挑戰。選擇一個高安全性、高可用性、彈性擴充容量、與大檔案存取的雲端儲存系統,以做為巨量資料運算的基礎,是企業在雲端投資的首選項目。