183.17.230.* 2020-09-09 13:17:36 |
隨著大數據技術體系的逐步成熟,大數據技術也處于落地應用的初期階段,但由于大數據技術所涉及的數據本身具有一定的敏感性,因此大數據產業鏈上的許多企業都處于業務發展的探索階段,有些業務也處于所謂的"灰色地帶",在一定程度上也制約了大數據產業的發展。
如何規范大數據行業,以及如何讓大數據能夠更加合理、順利地落地到產業領域,并為產業領域的發展賦能,將是一個必須面對和解決的問題。
1)IT向DT(Data Technology,DT)技術泛型的轉變,使得傳統硬件和軟件技術架構面臨挑戰,大規模并行計算、量子計算機、深度神經網絡芯片、分布式存儲系統、GPU大規模計算等都是對傳統IT技術架構的顛覆。現階段各種大數據分析相關的開源技術和系統百花齊放,大數據技術生態體系龐雜,技術門檻較高也間接說明了這一點。研究、研發人員要跟上這一波技術變革還需要時間去消化和積累,特別是學術界和工業界的結合,對大數據應用來講至關重要,深度學習領域的**就是例證。如何在掌握有限技術的條件下(或受制于核心技術人才的情況下),能快速進行大數據應用研究和落地應用,需要從技術選型角度進行深入探討、分析和評估。
2)傳統商業智能(Business Intelligence,BI)應用的失敗教訓太多,項目周期漫長,考驗客戶耐性,應用投入成本高,終成果多是昂貴的豪華報表,沒有達到預期效果。另外,傳統數據倉庫和數據集市架構下,面對海量數據的存儲能力、擴展能力、并發能力弱等問題無法從根本解決。大數據分析如何從BI項目中總結失敗教訓和獲得經驗,大數據應用與傳統BI系統是融合還是代替?企業大數據技術架構如何與發源于互聯網巨頭的主流大數據技術框架有機統一?也還有很多問題需要深入總結,解決不好就會事倍功半。
3)大數據應用的標準化和產品化問題。針對大數據的多源異構、動態性、關聯性等特點,對大數據分析流程和應用進行標準化的管理,對離線分析、在線分析、實時分析、內存分析等計算框架的融合處理,對圖像、文本、視頻、音頻、網頁、關系數據庫等多源異構數據進行跨模態建模,對大數據分析結果的應用效果進行量化與評價。不管是從技術選型角度還是業務支撐角度,都還有很多問題需要實戰經驗的積累和支持,想要一勞永逸地解決不現實。
4)除了前述探討的大數據應用面臨的挑戰之外,從大數據架構本身的技術角度分析還需要解決如下幾個關鍵問題:高可擴展性,能支持大規模數據增長和大量業務分析的快速擴展等;高容錯性和穩定性,能支持大數據分析的失敗情況和進行自動恢復等;高性能和并行支持,能在海量數據條件下快速完成多種計算模型和分析處理;多源異構環境支持,能處理多模態數據和多種分析任務;開放性和共享支持,能提供標準的數據和開發接口,支持數據和系統集成;效率和成本的控制,能在有限的時間、人力和財力條件下提高系統性能等,這對大數據系統架構的設計提出了較高要求。
5)大數據管理思維和開發、應用實施的脫節,大數據強化了定量科學和客觀方法的地位,但事實上,現階段很多企業**,包括技術人員對大數據的處理和使用仍然是主觀性的,而且面對機器學習的黑箱,對模型的缺陷和適用范疇很難有深入把握,這樣的話通過大數據挖掘分析量化的結果也未必更符合客觀事實,大數據不等于好數據,如何切實輔助決策才是關鍵。
大數據技術落地需要注意哪些問題.中琛魔方大數據分析平臺(www.zcmorefun.com)表示如果在使用數據技術的過程中沒有邊界限制,可能會對大數據的用戶形成"認知障礙",這對用戶來說也是一個潛在的風險,因此,在大數據的登陸應用過程中,應該允許大數據用戶更多地了解大數據技術的細節,大數據的參與者應該共同促進大數據的合理發展。 |