大數據終將主宰經濟社會,消除個體差異,成就一元化的經濟體系。網絡經濟時代,人們在經濟社會中的諸種活動通過網絡賬戶體系來實現,這些活動也就是所謂的網絡賬戶活動,其基本內容更多地體現為賬戶間的關系。這些賬戶活動及其賬戶關系是由數字網絡程序所設定的、驅動的,且被實時地記錄下來。這就形成了所謂的“大數據”。因此,大數據來源于大量的網絡賬戶的活動及其有效的記錄,簡言之,大數據是網絡賬戶數據。
所謂大數據,麥肯錫全球研究所給出的定義是:一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數據庫軟件工具能力范圍 的數據集合,具有海量的數據規(guī)模、快速的數據流轉、多樣的數據類型和價值密度低四大特征。大數據需要特殊的技術,以有效地處理大 量的容忍經過時間內的數據。適用于大數據的技術,包括大規(guī)模并行處理(MPP)數據庫、數據挖掘電網、分布式文件系統(tǒng)、分布式數據庫、云計算平臺、互聯(lián)網和可擴展的存儲系統(tǒng)。
所謂大數據,麥肯錫全球研究所給出的定義是:一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數據庫軟件工具能力范圍 的數據集合,具有海量的數據規(guī)模、快速的數據流轉、多樣的數據類型和價值密度低四大特征。大數據需要特殊的技術,以有效地處理大 量的容忍經過時間內的數據。適用于大數據的技術,包括大規(guī)模并行處理(MPP)數據庫、數據挖掘電網、分布式文件系統(tǒng)、分布式數據庫、云計算平臺、互聯(lián)網和可擴展的存儲系統(tǒng)。
1.本視頻面向擁有Java語言基礎的同學,以Java語言為藍本,深入淺出的講解scala語言的語法和特征,并應用scala語言,講解spark生態(tài)系統(tǒng)下的大數據開發(fā)技術。
2.視頻講解與實例練習相結合,通過看視頻也能保證知識得到充分的實踐,知識掌握更牢靠。
3.語言部分由淺入深,在掌握函數式編程和面向對象的基礎上能夠掌握高階函數編程(作為值的函數、柯里化、隱式值、隱式轉換),使得學生可以勝任項目中的開發(fā)之外,還可以讀懂Spark源碼,為以后研究Spark架構和自己編寫架構奠定扎實的基礎。
4.在綜合案例實現過程中,通過使用Akka通信模型實現RPC遠程通信框架,這樣既可以深入了解Spark的通信機制,又提升了Scala語言的開發(fā)技能。