本課程是 Python 爬蟲和數(shù)據(jù)分析項(xiàng)目實(shí)戰(zhàn)課程,主要分 3 部分:
第 1 部分是 Python 爬蟲,主要使用 Urllib 3 和 BeautifulSoup 抓取天貓商城和京東商城胸罩銷售數(shù)據(jù),并保存到 SQLite 數(shù)據(jù)庫中;
第 2 部分是對(duì)抓取的胸罩銷售數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗,主要是去除空數(shù)據(jù),讓數(shù)據(jù)格式更規(guī)范;
第 3 半部分利用 Pandas 對(duì)數(shù)據(jù)進(jìn)行分析,以及使用 Matplotlib 對(duì)分析后的數(shù)據(jù)進(jìn)行可視化。
通過一系列分析,可以得到中國女性胸部尺寸(胸圍)的標(biāo)準(zhǔn)大小,想知道中國女性最標(biāo)準(zhǔn)的胸圍是多少嗎?想知道什么顏色的胸罩最暢銷嗎?想知道 C 罩杯以上的女性喜歡到天貓還是京東購買胸罩嗎?答案盡在本課程中。
其一是Python 基礎(chǔ)入門,包括環(huán)境配置、基本操作、數(shù)據(jù)類型、語句和函數(shù);其二是Python 爬蟲的構(gòu)建,包括網(wǎng)頁結(jié)構(gòu)解析、爬蟲流程設(shè)計(jì)、代碼優(yōu)化、效率優(yōu)化、容錯(cuò)處理、反防爬蟲、表單交互和模擬頁面點(diǎn)擊;其三是Python 數(shù)據(jù)庫應(yīng)用,包括MongoDB、MySQL 在Python中的連接與應(yīng)用;其四是數(shù)據(jù)清洗和組織,包括NumPy 數(shù)組知識(shí)、pandas 數(shù)據(jù)的讀寫、分組變形、缺失值異常值處理、時(shí)序數(shù)據(jù)處理和正則表達(dá)式的使用;其五是綜合應(yīng)用案例,幫助讀者貫穿爬蟲、數(shù)據(jù)清洗與組織的過程;最后是數(shù)據(jù)可視化,包括Matplotlib 和Pyecharts 兩個(gè)庫的使用,涉及餅圖、柱形圖、線圖、詞云圖、地圖等圖形,幫助讀者進(jìn)入可視化的殿堂。