入行大數據需要掌握哪些技能

入行大數據需要掌握哪些技能

入行大數據需要掌握的技能:

數據採集:ETL工具負責將分佈的、異構數據源中的數據如關係數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成,最後加載到數據倉庫或數據集市中,成爲聯機分析處理、數據挖掘的基礎。數據存取:關係數據庫、NOSQL、SQL等。基礎架構:雲存儲、分佈式文件存儲等。數據處理:處理自然語言的關鍵是要讓計算機"理解"自然語言。統計分析:假設檢驗、顯著性檢驗、差異分析、相關分析、迴歸預測與殘差分析、嶺迴歸、logistic迴歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析、bootstrap技術等。數據挖掘:分類 、估計、預測、相關性分組或關聯規則、聚類、描述和可視化、複雜數據類型挖掘。模型預測:預測模型、機器學習、建模仿真。結果呈現:雲計算、標籤雲、關係圖等。