網(wǎng)絡(luò)爬蟲，是一種通過既定規(guī)則，自動地抓取網(wǎng)頁信息的計算機程序。爬蟲的目地在于將目標網(wǎng)頁數(shù)據(jù)下載至本地，以便進行后續(xù)的數(shù)據(jù)分析。爬蟲技術(shù)的興起源于海量網(wǎng)絡(luò)數(shù)據(jù)的可用性，通過爬蟲技術(shù)，我們能夠較為容易的獲取網(wǎng)絡(luò)數(shù)據(jù)，并通過對數(shù)據(jù)的分析，得出有價值的結(jié)論。

Python語言誕生已經(jīng)超過25年，距離Python3發(fā)布也已經(jīng)快10年了。經(jīng)過大浪淘沙，Python卻依舊勢頭強勁，長期穩(wěn)居編程語言市場占有率前十，甚至前五。

Python語言簡單易用，現(xiàn)成的爬蟲框架和工具包降低了使用門檻，具體使用時配合正則表達式的運用，使得數(shù)據(jù)抓取工作變得生動有趣。

專欄基于Python的爬蟲與數(shù)據(jù)分析實戰(zhàn)，從爬蟲和數(shù)據(jù)處理分析兩部分來展開。

希望通過基本理論講解與實戰(zhàn)分析，大家能快速掌握爬蟲設(shè)計與開發(fā)過程，并對數(shù)據(jù)分析有基本了解。

當(dāng)我們使用百度或者其他搜索引擎搜索某個關(guān)鍵字的時候，搜索結(jié)果中會包含對應(yīng)的內(nèi)容，比如：搜索Python，搜索結(jié)果可能包括Python官網(wǎng)，Python相關(guān)文章等信息，可是這些信息分布在不同的網(wǎng)站上，那么問題來了：這些搜索引擎是如何知道這些信息與相對應(yīng)的地址呢？可能的答案，搜索引擎獲取網(wǎng)站相關(guān)數(shù)據(jù)及對應(yīng)的地址；在來思考一個問題，python的官網(wǎng)應(yīng)該不可能主動把相應(yīng)數(shù)據(jù)給這些搜索引擎公司，那么這些數(shù)據(jù)是如何獲取的呢？最可能的答案，搜索引擎公司按照一定的規(guī)則將這些網(wǎng)站的信息抓取下來，保存到本地，然后對數(shù)據(jù)進行清洗處理，這些數(shù)據(jù)是搜索網(wǎng)站的基礎(chǔ)，而獲取數(shù)據(jù)過程就是爬蟲所做的事情。

進階實戰(zhàn)篇

Python進階實戰(zhàn)我重點挑選了比較有代表性的中高端課程，需要具備一定的Linux與Python基礎(chǔ)才能學(xué)習(xí)本階段課程，如果工作中專職Python開發(fā)，我認為非常有必須系統(tǒng)學(xué)習(xí)，對Python的項目實戰(zhàn)、運維等技術(shù)有一定的了解。

高級應(yīng)用與WEB項目開發(fā)篇

很多大數(shù)據(jù)分析公司，第三方數(shù)據(jù)的獲取都離不開爬蟲技術(shù)，那么Python是最最適合的編程語言了。再高級應(yīng)用的環(huán)節(jié)例如多線程編程，用于批處理，SOCKET編程用于C/S結(jié)構(gòu)的應(yīng)用軟件開發(fā)等等。還有前言領(lǐng)域的專題講座。可以在編程語言的基礎(chǔ)上，對技術(shù)有更宏觀的理解，提升個人的高度。