在大數據時代，人們可以獲得與分析更多的數據，甚至是與之相關的所有數據，而不再依賴于采樣，從而可以帶來更**的認識，可以更清楚地發現樣本無法揭示的細節信息。越來越多的人都在學習 大數據相關的技術，而今天我們就一起來了解一下，大數據環境下的數據分析基礎知識。



　　大數據環境下的數據分析基礎知識



　　一、數據分析的定義



　　數據分析就是用合適的方法來發揮出數據的大價值，這是一門結合了統計學，高等數學，工程學，商業決策等知識的技能，其中高等數學，工程學和統計學這些都是硬技能，而商業決策是屬于軟技能，數據分析師就是具備這些技能的崗位。數據分析師也有所側重點，有的人是商業出身，偏向于商業領域，有的人是統計學出身，偏向于統計領域，有的人是工程學出身，更偏向于it領域。企業在進行招聘的時候，他們會根據自己的需求選擇合適的數據分析師。



　　顯然，我是工程領域出身，我們的課程是偏向于it領域的，適合往it領域發展的程序員入門學習，或者商業領域，統計學領域的數據分析師補充自己。



　　二、數據分析的產生



　　在如今的互聯網企業的發展中，流量的增長是一個永恒不變的話題。我們知道拉一個新用戶的成本要遠高于維護一個老客戶的成本。既然這樣，如果我們能夠讓老客戶產生價值，推出合適的營銷策略或者老帶新類似這樣的方案，就能夠用更少的成本產生更大的價值，這也就是數據分析師存在的理由。



　　三、數據分析的發展



　　早期的數據分析是使用excel，即使現在也有很多商業領域的數據分析人員依舊在使用。除此之外，還有一些數據分析商用的軟件，比如tableau，spss等等。所使用的方式是先從服務器導出數據到軟件當中去，然后通過一個功能函數進行數據的處理，比如excel中可以使用vlookup函數來進行縱向查找，后再進行可視化的處理。顯然，早起的數據分析更側重于呈現結果，然后根據結果對企業的發展作出預測。



　　具體的過程如下所示：



　　分析現狀-通過可視化的現狀來直觀描述企業經營發展中的情況



　　發現問題-從呈現結果中預測可能問題的原因



　　收集加工-使用更多的數據來驗證問題的產生源頭



　　分析策略-結合業務場景分析用戶或者商品的現狀



　　提出方案-根據商業邏輯和分析結果提出**解決方案



　　我們能夠預見的是，早期數據量比較少，一般都是以G為單位，類似于excel，tableau和spss這樣的軟件，所能夠處理的數據量是有限的，當數據量達到T，TB甚至更大的量級是，這是無法處理的。這就需要it領域的知?*�理諒T┖Ａ康氖�舅|�睙峥r褂肕ySQL，hlive，hbase等等。



　　四、數據分析VS數據挖掘



　　除了數據分析之外，你一定還聽說過數據挖掘，那么他們之間有什么異同呢?先現在的大多數企業已經模糊了對數據分析與數據挖掘的區別，但是他們還是有所差異，具體如下：



　　數據分析更多采用統計學的知識，對源數據進行描述性和探索性分析，從結果中發現價值信息來評估和修正現狀。數據挖掘不僅僅用到統計學的知識，還要用到機器學習的知識，這里會涉及到模型的概念。數據挖掘具有更深的層次，來發現未知的規律和價值。



　　從側重點上來說，相比較而言，數據分析更多依賴于業務知識，數據挖掘更多側重于技術的實現，對于業務的要求稍微有所降低。



　　從數據量上來說，數據挖掘往往需要更大數據量，而數據量越大，對于技術的要求也就越高。



　　從技術上來說，數據挖掘對于技術的要求更高，需要比較強的編程能力，數學能力和機器學習的能力。



　　從結果上來說，數據分析更多側重的是結果的呈現，需要結合業務知識來進行解讀。而數據挖掘的結果是一個模型，通過這個模型來分析整個數據的規律，一次來實現對于未來的預測，比如判斷用戶的特點，用戶適合什么樣的營銷活動。顯然，數據挖掘比數據分析要更深一個層次。



　　如何**認識大數據分析的基礎知識.中琛魔方大數據分析平臺 (www.zcmorefun.com)表示大數據時代的思維方式要求從自然思維轉向智能思維，不斷提升機器或系統的社會計算能力和智能化水平，從而獲得具有洞察力和新價值的東西，甚至類似于人類的“智慧”。