- 1.1 大數(shù)據(jù)時(shí)代
- 1.2大數(shù)據(jù)概念和影響
- 1.3 大數(shù)據(jù)的應(yīng)用
- 1.4大數(shù)據(jù)的關(guān)鍵技術(shù)
- 1.5.1云計(jì)算
- 1.5.2 物聯(lián)網(wǎng)
- 2.1.1 Hadoop簡(jiǎn)介
- 2.1.2 Hadoop不同版本
- 2.2 Hadoop項(xiàng)目結(jié)構(gòu)
- 2.3.1Hadoop安裝之前的預(yù)備知識(shí)
- 2.3.2 Hadoop的安裝和使用詳解
- 2.4 Hadoop集群的部署和使用
- 3.1 分布式文件系統(tǒng)HDFS簡(jiǎn)介
- 3.2 HDFS相關(guān)概念
- 3.3 HDFS體系結(jié)構(gòu)
- 3.4 HDFS存儲(chǔ)原理
- 3.5.1 HDFS讀數(shù)據(jù)過(guò)程
- 3.5.2 HDFS寫(xiě)數(shù)據(jù)過(guò)程
- 3.6 HDFS編程實(shí)踐
- 4.1 HBase簡(jiǎn)介
- 4.2 HBase數(shù)據(jù)模型
- 4.3 HBase的實(shí)現(xiàn)原理
- 4.4 HBase運(yùn)行機(jī)制
- 4.5 HBase應(yīng)用方案
- 4.6 HBase安裝配置和常用Shell命令
- 4.7 HBase常用Java API及應(yīng)用實(shí)例
- 5.1 NoSQL概述
- 5.2 NoSQL與關(guān)系數(shù)據(jù)庫(kù)的比較
- 5.3.1鍵值數(shù)據(jù)庫(kù)和列族數(shù)據(jù)庫(kù)
- 5.3.2文檔數(shù)據(jù)庫(kù)圖數(shù)據(jù)庫(kù)以及不同數(shù)據(jù)庫(kù)比較分析
- 5.4.1 CAP理論
- 5.4.2 BASE和最終一致性
- 5.5 從NoSQL到NewSQL數(shù)據(jù)庫(kù)
- 5.6 文檔數(shù)據(jù)庫(kù)MongoDB
- 6.1 云數(shù)據(jù)庫(kù)概述
- 6.2 云數(shù)據(jù)庫(kù)產(chǎn)品
- 6.3.1 UMP系統(tǒng)概述
- 6.3.2 UMP系統(tǒng)架構(gòu)
- 6.3.3 UMP系統(tǒng)功能
- 6.4.1 Amazon和云計(jì)算的淵源
- 6.4.2 Amazon AWS
- 6.4.3 Amazon AWS平臺(tái)上的云數(shù)據(jù)庫(kù)
- 6.5 微軟云數(shù)據(jù)庫(kù)SQL Azure
- 6.6 云數(shù)據(jù)庫(kù)實(shí)踐
- 7.1 MapReduce概述 - 7.1.1 分布式并行編程
- 7.1 MapReduce概述 - 7.1.2 MapReduce模型簡(jiǎn)介
- 7.2 MapReduce的體系結(jié)構(gòu) - 7.2 MapReduce的體系結(jié)構(gòu)
- 7.3 MapReduce工作流程 - 7.3 MapReduce工作流程
- 7.4 Shuffle過(guò)程原理 - 7.4 Shuffle過(guò)程原理
- 7.5 MapReduce應(yīng)用程序執(zhí)行過(guò)程 - 7.5 MapReduce應(yīng)用程序執(zhí)行過(guò)程
- 7.6 實(shí)例分析WordCount - 7.6 實(shí)例分析WordCount
- 7.7 MapReduce的具體應(yīng)用 - 7.7 MapReduce的具體應(yīng)用
- 7.8 MapReduce編程實(shí)踐 - 7.8 MapReduce編程實(shí)踐
- 8.1 數(shù)據(jù)倉(cāng)庫(kù)概念 - 8.1 數(shù)據(jù)倉(cāng)庫(kù)概念
- 8.2 Hive簡(jiǎn)介 - 8.2 Hive簡(jiǎn)介
- 8.3 SQL轉(zhuǎn)換成MapReduce作業(yè)的原理 - 8.3 SQL轉(zhuǎn)換成MapReduce作業(yè)的原理
- 8.4 Impala - 8.4.1 Impala簡(jiǎn)介
- 8.4 Impala - 8.4.2 Impala系統(tǒng)架構(gòu)
- 8.4 Impala - 8.4.3 Impala查詢(xún)執(zhí)行過(guò)程
- 8.4 Impala - 8.4.4 Impala與Hive的比較
- 8.5 Hive編程實(shí)踐 - 8.5.1 Hive安裝與基本操作
- 8.5 Hive編程實(shí)踐 - 8.5.2 Hive應(yīng)用實(shí)例WordCount
- 9.1 Hadoop的優(yōu)化與發(fā)展 - 9.1 Hadoop的優(yōu)化與發(fā)展
- 9.2 HDFS2.0的新特性 - 9.2.1 HDFS HA
- 9.2 HDFS2.0的新特性 - 9.2.2 HDFS Federation
- 9.3 新一代資源管理調(diào)度框架YARN - 9.3.1MapReduce1.0的缺陷
- 9.3 新一代資源管理調(diào)度框架YARN - 9.3.2 YARN設(shè)計(jì)思路
- 9.3 新一代資源管理調(diào)度框架YARN - 9.3.3 YARN體系結(jié)構(gòu)
- 9.3 新一代資源管理調(diào)度框架YARN - 9.3.4 YARN工作流程
- 9.3 新一代資源管理調(diào)度框架YARN - 9.3.5 YARN框架與MapReduce1.0框架的對(duì)比分析
- 9.3 新一代資源管理調(diào)度框架YARN - 9.3.6 YARN的發(fā)展目標(biāo)
- 9.4 Hadoop生態(tài)系統(tǒng)中具有代表性的功能組件 - 9.4.1 Pig
- 9.4 Hadoop生態(tài)系統(tǒng)中具有代表性的功能組件 - 9.4.2 Tez
- 9.4 Hadoop生態(tài)系統(tǒng)中具有代表性的功能組件 - 9.4.3 Spark和Kafka
- 10.1 Spark概述 - 10.1.1 Spark簡(jiǎn)介
- 10.1 Spark概述 - 10.1.2 Spark與Hadoop的對(duì)比
- 10.2 Spark生態(tài)系統(tǒng) - 10.2 Spark生態(tài)系統(tǒng)
- 10.3 Spark運(yùn)行架構(gòu) - 10.3.1 基本概念和架構(gòu)設(shè)計(jì)
- 10.3 Spark運(yùn)行架構(gòu) - 10.3.2 Spark運(yùn)行基本流程
- 10.3 Spark運(yùn)行架構(gòu) - 10.3.3 RDD概念
- 10.3 Spark運(yùn)行架構(gòu) - 10.3.4 RDD特性
- 10.3 Spark運(yùn)行架構(gòu) - 10.3.5 RDD的依賴(lài)關(guān)系和運(yùn)行過(guò)程
- 10.4 Spark SQL - 10.4 Spark SQL
- 10.5 Spark的部署和應(yīng)用方式 - 10.5 Spark的部署和應(yīng)用方式
- 10.6 Spark編程實(shí)踐 - 10.6.1 Spark安裝和啟動(dòng)Spark Shell
- 10.6 Spark編程實(shí)踐 - 10.6.2 Spark RDD基本操作
- 10.6 Spark編程實(shí)踐 - 10.6.3 Spark應(yīng)用程序
- 11.1 流計(jì)算概述 - 11.1.1 數(shù)據(jù)的處理模型
- 11.1 流計(jì)算概述 - 11.1.2 流計(jì)算概念與典型框架
- 11.3 流計(jì)算的應(yīng)用 - 11.3 流計(jì)算的應(yīng)用
- 11.4 開(kāi)源流計(jì)算框架Storm - 11.4.1 Storm簡(jiǎn)介
- 11.4 開(kāi)源流計(jì)算框架Storm - 11.4.2 Storm設(shè)計(jì)思想
- 11.4 開(kāi)源流計(jì)算框架Storm - 11.4.3 Storm框架設(shè)計(jì)
- 11.5 Spark StreamingSamza以及三種流計(jì)算框架的比較 - 11.5 Spark StreamingSamza以及三種流計(jì)算框架的比較
- 11.6 Storm編程實(shí)踐 - 11.6.1 編寫(xiě)Storm程序
- 11.6 Storm編程實(shí)踐 - 11.6.2 安裝Storm的基本過(guò)程和實(shí)例
- 12.1 圖計(jì)算簡(jiǎn)介 - 12.1 圖計(jì)算簡(jiǎn)介
- 12.2 Pregel簡(jiǎn)介 - 12.2 Pregel簡(jiǎn)介
- 12.3 Pregel圖計(jì)算模型 - 12.3.1 有向圖和頂點(diǎn)
- 12.3 Pregel圖計(jì)算模型 - 12.3.2 Pregel的計(jì)算過(guò)程
- 12.3 Pregel圖計(jì)算模型 - 12.3.3 Pregel實(shí)例
- 12.4 Pregel的C++ API - 12.4.1 定義Vertex基類(lèi)
- 12.4 Pregel的C++ API - 12.4.2 消息傳遞機(jī)制和Combiner
- 12.4 Pregel的C++ API - 12.4.3 Aggregator拓?fù)涓淖兒洼斎胼敵?/a>
- 12.5 Pregel的體系結(jié)構(gòu) - 12.5.1 Pregel的執(zhí)行過(guò)程和容錯(cuò)性
- 12.5 Pregel的體系結(jié)構(gòu) - 12.5.2 WorkerMaster和Aggregator
- 12.6 Pregel的應(yīng)用實(shí)例單源最短路徑 - 12.6 Pregel的應(yīng)用實(shí)例單源最短路徑
- 12.7 Hama的安裝和使用 - 12.7 Hama的安裝和使用
- 13.1 大數(shù)據(jù)應(yīng)用概覽 - 13.1大數(shù)據(jù)應(yīng)用概覽
- 13.2 推薦系統(tǒng) - 13.2.1 推薦系統(tǒng)概述
- 13.2 推薦系統(tǒng) - 13.2.2 基于用戶(hù)的協(xié)同過(guò)濾UserCF
- 13.2 推薦系統(tǒng) - 13.2.3 基于物品的協(xié)同過(guò)濾ItemCF
- 13.2 推薦系統(tǒng) - 13.2.4 UserCF算法和ItemCF算法的對(duì)比
- 13.3 大數(shù)據(jù)在智能醫(yī)療和智能物流領(lǐng)域運(yùn)用 - 13.3 大數(shù)據(jù)在智能醫(yī)療和智能物流領(lǐng)域運(yùn)用
大數(shù)據(jù)技術(shù)原理與應(yīng)用課程-廈門(mén)大學(xué)系統(tǒng)地論述了大數(shù)據(jù)的基本概念、大數(shù)據(jù)處理架構(gòu)Hadoop、分布式文件系統(tǒng)HDFS、分布式數(shù)據(jù)庫(kù)HBase、NoSQL數(shù)據(jù)庫(kù)、云數(shù)據(jù)庫(kù)、分布式并行編程模型MapReduce、流計(jì)算、圖計(jì)算、數(shù)據(jù)可視化以及大數(shù)據(jù)在互聯(lián)網(wǎng)、生物醫(yī)學(xué)和物流等各個(gè)領(lǐng)域的應(yīng)用。

《大數(shù)據(jù)技術(shù)》是一門(mén)專(zhuān)業(yè)選修課,大數(shù)據(jù)技術(shù)入門(mén)課程,為學(xué)生搭建起通向“大數(shù)據(jù)知識(shí)空間”的橋梁和紐帶,以“構(gòu)建知識(shí)體系、闡明基本原理、引導(dǎo)初級(jí)實(shí)踐、了解相關(guān)應(yīng)用”為原則,為學(xué)生在大數(shù)據(jù)領(lǐng)域“深耕細(xì)作”奠定基礎(chǔ)、指明方向。
課程將系統(tǒng)講授大數(shù)據(jù)的基本概念、大數(shù)據(jù)處理架構(gòu)Hadoop、分布式文件系統(tǒng)HDFS、分布式數(shù)據(jù)庫(kù)HBase、NoSQL數(shù)據(jù)庫(kù)、云數(shù)據(jù)庫(kù)、分布式并行編程模型MapReduce、流計(jì)算、圖計(jì)算、數(shù)據(jù)可視化以及大數(shù)據(jù)在互聯(lián)網(wǎng)、生物醫(yī)學(xué)和物流等各個(gè)領(lǐng)域的應(yīng)用。在Hadoop、HDFS、HBase和MapReduce等重要章節(jié),安排了入門(mén)級(jí)的實(shí)踐操作,讓學(xué)生更好地學(xué)習(xí)和掌握大數(shù)據(jù)關(guān)鍵技術(shù)。
課程內(nèi)容(固定在每周一上午10點(diǎn)發(fā)布一章內(nèi)容):
第一講:大數(shù)據(jù)概述(2019年9月16日發(fā)布)
第二講:大數(shù)據(jù)處理架構(gòu)Hadoop(2019年9月23日發(fā)布)
第三講:分布式文件系統(tǒng)HDFS(2019年9月30日發(fā)布)
第四講:分布式數(shù)據(jù)庫(kù)HBase(2019年10月7日發(fā)布)
第五講:NoSQL數(shù)據(jù)庫(kù)(2019年10月14日發(fā)布)
第六講:云數(shù)據(jù)庫(kù)(2019年10月21日發(fā)布)
第七講:MapReduce(2019年10月28日發(fā)布)
第八講:數(shù)據(jù)倉(cāng)庫(kù)Hive(2019年11月4日發(fā)布)
第九講:Hadoop架構(gòu)再探討(2019年11月11日發(fā)布)
第十講:Spark(2019年11月18日發(fā)布)
第十一講:流計(jì)算(2019年11月25日發(fā)布)
第十二講:圖計(jì)算(2019年12月2日發(fā)布)
第十三講:大數(shù)據(jù)在不同領(lǐng)域的應(yīng)用(2019年12月9日發(fā)布)
期末考試:2019年12月16日上午10點(diǎn)到12月22日晚上11點(diǎn)
