網(wǎng)絡(luò)爬蟲(chóng)，是一種通過(guò)既定規(guī)則，自動(dòng)地抓取網(wǎng)頁(yè)信息的計(jì)算機(jī)程序。爬蟲(chóng)的目地在于將目標(biāo)網(wǎng)頁(yè)數(shù)據(jù)下載至本地，以便進(jìn)行后續(xù)的數(shù)據(jù)分析。爬蟲(chóng)技術(shù)的興起源于海量網(wǎng)絡(luò)數(shù)據(jù)的可用性，通過(guò)爬蟲(chóng)技術(shù)，我們能夠較為容易的獲取網(wǎng)絡(luò)數(shù)據(jù)，并通過(guò)對(duì)數(shù)據(jù)的分析，得出有價(jià)值的結(jié)論。

Python語(yǔ)言誕生已經(jīng)超過(guò)25年，距離Python3發(fā)布也已經(jīng)快10年了。經(jīng)過(guò)大浪淘沙，Python卻依舊勢(shì)頭強(qiáng)勁，長(zhǎng)期穩(wěn)居編程語(yǔ)言市場(chǎng)占有率前十，甚至前五。

Python語(yǔ)言簡(jiǎn)單易用，現(xiàn)成的爬蟲(chóng)框架和工具包降低了使用門檻，具體使用時(shí)配合正則表達(dá)式的運(yùn)用，使得數(shù)據(jù)抓取工作變得生動(dòng)有趣。

專欄基于Python的爬蟲(chóng)與數(shù)據(jù)分析實(shí)戰(zhàn)，從爬蟲(chóng)和數(shù)據(jù)處理分析兩部分來(lái)展開(kāi)。

希望通過(guò)基本理論講解與實(shí)戰(zhàn)分析，大家能快速掌握爬蟲(chóng)設(shè)計(jì)與開(kāi)發(fā)過(guò)程，并對(duì)數(shù)據(jù)分析有基本了解。

當(dāng)我們使用百度或者其他搜索引擎搜索某個(gè)關(guān)鍵字的時(shí)候，搜索結(jié)果中會(huì)包含對(duì)應(yīng)的內(nèi)容，比如：搜索Python，搜索結(jié)果可能包括Python官網(wǎng)，Python相關(guān)文章等信息，可是這些信息分布在不同的網(wǎng)站上，那么問(wèn)題來(lái)了：這些搜索引擎是如何知道這些信息與相對(duì)應(yīng)的地址呢？可能的答案，搜索引擎獲取網(wǎng)站相關(guān)數(shù)據(jù)及對(duì)應(yīng)的地址；在來(lái)思考一個(gè)問(wèn)題，python的官網(wǎng)應(yīng)該不可能主動(dòng)把相應(yīng)數(shù)據(jù)給這些搜索引擎公司，那么這些數(shù)據(jù)是如何獲取的呢？最可能的答案，搜索引擎公司按照一定的規(guī)則將這些網(wǎng)站的信息抓取下來(lái)，保存到本地，然后對(duì)數(shù)據(jù)進(jìn)行清洗處理，這些數(shù)據(jù)是搜索網(wǎng)站的基礎(chǔ)，而獲取數(shù)據(jù)過(guò)程就是爬蟲(chóng)所做的事情。

進(jìn)階實(shí)戰(zhàn)篇

Python進(jìn)階實(shí)戰(zhàn)我重點(diǎn)挑選了比較有代表性的中高端課程，需要具備一定的Linux與Python基礎(chǔ)才能學(xué)習(xí)本階段課程，如果工作中專職Python開(kāi)發(fā)，我認(rèn)為非常有必須系統(tǒng)學(xué)習(xí)，對(duì)Python的項(xiàng)目實(shí)戰(zhàn)、運(yùn)維等技術(shù)有一定的了解。

高級(jí)應(yīng)用與WEB項(xiàng)目開(kāi)發(fā)篇

很多大數(shù)據(jù)分析公司，第三方數(shù)據(jù)的獲取都離不開(kāi)爬蟲(chóng)技術(shù)，那么Python是最最適合的編程語(yǔ)言了。再高級(jí)應(yīng)用的環(huán)節(jié)例如多線程編程，用于批處理，SOCKET編程用于C/S結(jié)構(gòu)的應(yīng)用軟件開(kāi)發(fā)等等。還有前言領(lǐng)域的專題講座。可以在編程語(yǔ)言的基礎(chǔ)上，對(duì)技術(shù)有更宏觀的理解，提升個(gè)人的高度。