網(wǎng)絡爬蟲，是一種通過既定規(guī)則，自動地抓取網(wǎng)頁信息的計算機程序。爬蟲的目地在于將目標網(wǎng)頁數(shù)據(jù)下載至本地，以便進行后續(xù)的數(shù)據(jù)分析。爬蟲技術的興起源于海量網(wǎng)絡數(shù)據(jù)的可用性，通過爬蟲技術，我們能夠較為容易的獲取網(wǎng)絡數(shù)據(jù)，并通過對數(shù)據(jù)的分析，得出有價值的結論。

Python語言誕生已經超過25年，距離Python3發(fā)布也已經快10年了。經過大浪淘沙，Python卻依舊勢頭強勁，長期穩(wěn)居編程語言市場占有率前十，甚至前五。

Python語言簡單易用，現(xiàn)成的爬蟲框架和工具包降低了使用門檻，具體使用時配合正則表達式的運用，使得數(shù)據(jù)抓取工作變得生動有趣。

專欄基于Python的爬蟲與數(shù)據(jù)分析實戰(zhàn)，從爬蟲和數(shù)據(jù)處理分析兩部分來展開。

希望通過基本理論講解與實戰(zhàn)分析，大家能快速掌握爬蟲設計與開發(fā)過程，并對數(shù)據(jù)分析有基本了解。

當我們使用百度或者其他搜索引擎搜索某個關鍵字的時候，搜索結果中會包含對應的內容，比如：搜索Python，搜索結果可能包括Python官網(wǎng)，Python相關文章等信息，可是這些信息分布在不同的網(wǎng)站上，那么問題來了：這些搜索引擎是如何知道這些信息與相對應的地址呢？可能的答案，搜索引擎獲取網(wǎng)站相關數(shù)據(jù)及對應的地址；在來思考一個問題，python的官網(wǎng)應該不可能主動把相應數(shù)據(jù)給這些搜索引擎公司，那么這些數(shù)據(jù)是如何獲取的呢？最可能的答案，搜索引擎公司按照一定的規(guī)則將這些網(wǎng)站的信息抓取下來，保存到本地，然后對數(shù)據(jù)進行清洗處理，這些數(shù)據(jù)是搜索網(wǎng)站的基礎，而獲取數(shù)據(jù)過程就是爬蟲所做的事情。

進階實戰(zhàn)篇

Python進階實戰(zhàn)我重點挑選了比較有代表性的中高端課程，需要具備一定的Linux與Python基礎才能學習本階段課程，如果工作中專職Python開發(fā)，我認為非常有必須系統(tǒng)學習，對Python的項目實戰(zhàn)、運維等技術有一定的了解。

高級應用與WEB項目開發(fā)篇

很多大數(shù)據(jù)分析公司，第三方數(shù)據(jù)的獲取都離不開爬蟲技術，那么Python是最最適合的編程語言了。再高級應用的環(huán)節(jié)例如多線程編程，用于批處理，SOCKET編程用于C/S結構的應用軟件開發(fā)等等。還有前言領域的專題講座。可以在編程語言的基礎上，對技術有更宏觀的理解，提升個人的高度。