- 1、認識scala-1
- 2、安裝開發(fā)環(huán)境-1
- 3、scala Shell、用idea創(chuàng)建maven項目-1
- 4、配置maven本地倉庫、導入切換項目等其它配置-1
- 5、變量的聲明-1
- 6、scala的7種值類型和條件表達式-1
- 7、for循環(huán)-1
- 8、方法和函數(shù)的聲明以及方法轉(zhuǎn)換成函數(shù)-1
- 9、數(shù)組-1
- 10、映射-1
- 11、元組-1
- 12、集合之seq-1
- 13、集合之set-1
- 14、集合之map-1
- 1、lazy關鍵字-1
- 2、函數(shù)式編程練習之常用方法-1
- 3、函數(shù)式編程之reduce-1
- 4、函數(shù)式編程之fold-1
- 5、函數(shù)式編程之a(chǎn)ggregate-1
- 6、函數(shù)式編程之交并差集-1
- 7、scala實現(xiàn)wordcount-1
- 1、創(chuàng)建類、屬性-1
- 2、構(gòu)造器、輔助構(gòu)造器-1
- 單例對象-1
- 4、伴生對象-1
- 5、apply和unapply方法-1
- 6、private關鍵字-1
- 7、特質(zhì)、抽象類、繼承、重寫、實現(xiàn)等-1
- 8、模式匹配之匹配字符串-1
- 9、模式匹配之匹配類型-1
- 10、模式匹配之匹配數(shù)組、元組、集合-1
- 11、模式匹配之樣例類-1
- 12、模式匹配之偏函數(shù)-1
- 作為值的函數(shù)-1
- 柯里化概念及聲明方式-1
- 柯里化練習-1
- 隱式轉(zhuǎn)換和隱式參數(shù)-1
- 隱式轉(zhuǎn)換練習1-1
- 隱式轉(zhuǎn)換練習2-1
- 泛型-1
- upperbound-1
- viewbound-1
- contextbound-1
- actor概念-1
- actor實例之創(chuàng)建actor-1
- actor實例之消息的接收與發(fā)送(異步?jīng)]有返回值)-1
- actor實例之消息的接收與發(fā)送(同步有返回值)-1
- actor實例之消息的接收與發(fā)送(異步有返回值)-1
- actor實例之并行編程思想實現(xiàn)單詞計數(shù)-1
- akka簡介-1
- akka案例需求分析-1
- akka案例代碼分析-1
- spark簡介-1
- spark集群搭建、啟動-1
- spark Shell啟動和提交任務-1
- spark Wordcount-1
- 上傳并執(zhí)行任務-1
- 千鋒1、rdd的概念-1
- 千鋒2、生成rdd的兩種方式-1
- 3、兩種類型的算子:transformation和action-1
- 4、常用算子練習1-1
- 5、常用算子練習2-1
- 1、案例需求-求用戶在某基站停留的時間-1
- 2、求用戶在某基站停留的時間-1
- 3、案例實現(xiàn)-求用戶訪問學科的子網(wǎng)頁top3-1
- 4、案例實現(xiàn)-求用戶訪問學科的子網(wǎng)頁top3-chache
- 1、spark集群啟動流程-1
- 2、spark任務提交流程-1
- 3、wordcount中創(chuàng)建了那些rdd-1
- 4、案例分析實現(xiàn)-按照ip統(tǒng)計區(qū)域訪問量-1
- 1、rdd之間的依賴關系-1
- 2、dag的生成和stage的劃分-1
- 3、webui觀察stage劃分和任務的生成-1
- 4、自定義二次排序-1
- 1、checkpoint-1
- 2、sparksql介紹-1
- 3、創(chuàng)建dataframe-1
- 4、dataframe常用操作-dsl風格語法-1
- 5、dataframe常用操作-sql風格語法-1
- 6、通過反射推斷schema-1
- 7、通過structtype直接指定schema-1
- 8、hive-on-spark-1
- 1、sparkstreaming簡介-1
- 實例分析:sparkstreaming獲取netcat產(chǎn)生的數(shù)據(jù)進行實時分析-1
- 3、sparkstreaming實現(xiàn)按批次累加-1
- 4、窗口函數(shù)概念及使用場景-1
- 5、窗口函數(shù)實現(xiàn)wordcount-1
- 6、spark-on-yarn-1
- 7、補充:sparkstreaming依賴-1
- 1、關于查看源碼的一些介紹-1
- 2、導入源碼-1
- 3、集群啟動流程-master類-1
- 4、集群啟動流程-worker類-1
- 5、sparksubmit提交任務-1
- 6、sparkcontext-1
- 7、創(chuàng)建driveractor和clientactor的過程-1
- 8、clientactor向master注冊任務信息過程-1
- 9、任務調(diào)度的兩種方式及master通知worker啟動executor的過程-1
- 10、executor向driveractor反向注冊的過程-1
- 11、rdd生成和stage劃分-1
- 12、生成任務并提交-1
- 13、task任務執(zhí)行流程-1
- 14、總結(jié)-任務生成及提交流程-1
大數(shù)據(jù)終將主宰經(jīng)濟社會,消除個體差異,成就一元化的經(jīng)濟體系。網(wǎng)絡經(jīng)濟時代,人們在經(jīng)濟社會中的諸種活動通過網(wǎng)絡賬戶體系來實現(xiàn),這些活動也就是所謂的網(wǎng)絡賬戶活動,其基本內(nèi)容更多地體現(xiàn)為賬戶間的關系。這些賬戶活動及其賬戶關系是由數(shù)字網(wǎng)絡程序所設定的、驅(qū)動的,且被實時地記錄下來。這就形成了所謂的“大數(shù)據(jù)”。因此,大數(shù)據(jù)來源于大量的網(wǎng)絡賬戶的活動及其有效的記錄,簡言之,大數(shù)據(jù)是網(wǎng)絡賬戶數(shù)據(jù)。
所謂大數(shù)據(jù),麥肯錫全球研究所給出的定義是:一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍 的數(shù)據(jù)集合,具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價值密度低四大特征。大數(shù)據(jù)需要特殊的技術(shù),以有效地處理大 量的容忍經(jīng)過時間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術(shù),包括大規(guī)模并行處理(MPP)數(shù)據(jù)庫、數(shù)據(jù)挖掘電網(wǎng)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、云計算平臺、互聯(lián)網(wǎng)和可擴展的存儲系統(tǒng)。
所謂大數(shù)據(jù),麥肯錫全球研究所給出的定義是:一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍 的數(shù)據(jù)集合,具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價值密度低四大特征。大數(shù)據(jù)需要特殊的技術(shù),以有效地處理大 量的容忍經(jīng)過時間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術(shù),包括大規(guī)模并行處理(MPP)數(shù)據(jù)庫、數(shù)據(jù)挖掘電網(wǎng)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、云計算平臺、互聯(lián)網(wǎng)和可擴展的存儲系統(tǒng)。
1.本視頻面向擁有Java語言基礎的同學,以Java語言為藍本,深入淺出的講解scala語言的語法和特征,并應用scala語言,講解spark生態(tài)系統(tǒng)下的大數(shù)據(jù)開發(fā)技術(shù)。
2.視頻講解與實例練習相結(jié)合,通過看視頻也能保證知識得到充分的實踐,知識掌握更牢靠。
3.語言部分由淺入深,在掌握函數(shù)式編程和面向?qū)ο蟮幕A上能夠掌握高階函數(shù)編程(作為值的函數(shù)、柯里化、隱式值、隱式轉(zhuǎn)換),使得學生可以勝任項目中的開發(fā)之外,還可以讀懂Spark源碼,為以后研究Spark架構(gòu)和自己編寫架構(gòu)奠定扎實的基礎。
4.在綜合案例實現(xiàn)過程中,通過使用Akka通信模型實現(xiàn)RPC遠程通信框架,這樣既可以深入了解Spark的通信機制,又提升了Scala語言的開發(fā)技能。
