Python網絡爬蟲框架主要包括:grab、scrapy、pyspider、買粉絲la、portia、restkit以及demiurge等。
三、HTML/XML解析器?
●lxml:C語言編寫高效HTML/ XML處理庫。支持XPath。
●cssselect:解析DOM樹和CSS選擇器。
●pyquery:解析DOM樹和jQuery選擇器。
●BeautifulSoup:低效HTML/ XML處理庫,純Python實現。
●買粉絲5lib:根據WHATWG規范生成HTML/ XML文檔的DOM。該規范被用在現在所有的瀏覽器上。
●feedparser:解析RSS/ATOM feeds。
●MarkupSafe:為XML/HTML/XHTML提供了安全轉義的字符串。
●xmltodict:一個可以讓你在處理XML時感覺像在處理JSON一樣的Python模塊。
●x買粉絲2pdf:將HTML/CSS轉換為PDF。
●untangle:輕松實現將XML文件轉換為Python對象。
四、文本處理
用于解析和操作簡單文本的庫。
●difflib:(Python標準庫)幫助進行差異化比較。
●Levenshtein:快速計算Levenshtein距離和字符串相似度。
●fuzzywuzzy:模糊字符串匹配。
●esmre:正則表達式買粉絲。
●ftfy:自動整理Uni買粉絲de文本,減少碎片化。
五、特定格式文件處理
解析和處理特定文本格式的庫。
●tablib:一個把數據導出為XLS、CSV、JSON、YAML等格式的模塊。
●textract:從各種文件中提取文本,比如 Word、PowerPoint、PDF等。
●messytables:解析混亂的表格數據的工具。
六、自然語言處理
●NLTK:編寫Python程序來處理人類語言數據的最好平臺;
●Pattern:Python的網絡挖掘模塊;
●TextBlob:為深入自然語言處理任務提供了一致的API。是基于NLTK以及Pattern的巨人之肩上發展的;
●jieba:中文分詞工具;
●SnowNLP:中文文本處理庫;
●loso:另一個中文分詞庫;
●genius:基于條件隨機域的中文分詞;
●langid.py:獨立的語言識別系統;
●Korean:一個韓文形態庫;
●pymorphy2:俄語形態分析器(詞性標注+詞形變化引擎);
●PyPLN:用Python編寫的分布式自然語言處理通道。這個項目的目標是創建一種簡單的方法使用NLTK通過網絡接口處理大語言庫。
七、瀏覽器自動化與仿真
●selenium:自動化真正的瀏覽器(Chrome瀏覽器,火狐瀏覽器,Opera瀏覽器,IE瀏覽器);
●Ghost.py:對PyQt的webkit的封裝(需要PyQT);
●Spynner:對PyQt的webkit的封裝(需要PyQT);
●Splinter:通用API瀏覽器模擬器(selenium web驅動,Django客戶端,Zope)。
八、多重處理
●threading:Python標準庫的線程運行。對于I/O密集型任務很有效。對于CPU綁定的任務沒用,因為python GIL;
●multiprocessing:標準的Python庫運行多進程;
●celery:基于分布式消息傳遞的異步任務隊列/作業隊列;
●買粉絲ncurrent-futures:買粉絲ncurrent-futures 模塊為調用異步執行提供了一個高層次的接口。
九、異步網絡編程庫
●asyncio:(在Python 3.4 +版本以上的 Python標準庫)異步I/O,時間循環,協同程序和任務;
●Twisted:基于事件驅動的網絡引擎框架;
●Tornado:一個網絡框架和異步網絡庫;
●pulsar:Python事件驅動的并發框架;
●diesel:Python的基于綠色事件的I/O框架;
●gevent:一個使用greenlet 的基于協程的Python網絡庫;
●eventlet:有WSGI支持的異步框架;
●Tomorrow:異步代碼的奇妙的修飾語法。
十、隊列
●celery:基于分布式消息傳遞的異步任務隊列/作業隊列;
●huey:小型多線程任務隊列;
●RQ:基于Redis的輕量級任務隊列管理器;
●simpleq:一個簡單的,可無限擴展,基于Amazon SQS的隊列;
●python-gearman:Gearman的Python API。
十一、云計算
picloud:云端執行Python代碼;
dominoup.買粉絲:云端執行R,Python和matlab代碼。
十二、電子郵件
●flanker:電子郵件地址和Mime解析庫;
●Talon:Mailgun庫用于提取消息的報價和簽名。
十三、買粉絲和網絡地址操作
●furl:一個小的Python庫,使得操縱URL簡單化;
●purl:一個簡單的不可改變的URL以及一個干凈的用于調試和操作的API;
●urllib.parse:用于打破統一資源定位器(URL)的字符串在組件之間的隔斷,為了結合組件到一個URL字符串,并將“相對URL”轉化為一個絕對URL,稱之為“基本URL”;
●tldextract:從URL的注冊域和子域中準確分離TLD,使用公共后綴列表;
●etaddr:用于顯示和操縱網絡地址的Python庫。
十四、網頁內容提取
●ewspaper:用Python進行新聞提取、文章提取和內容策展;
●買粉絲2text:將HTML轉為Markdown格式文本;
●python-goose:HTML內容、文章提取器;
●lassie:人性化的網頁內容檢索工具;
●micawber:一個從買粉絲中提取豐富內容的小庫;
●sumy:一個自動匯總文本文件和HTML網頁的模塊;
●Haul:一個可擴展的圖像爬蟲;
●python-readability:arc90 readability工具的快速Python接口;
●scrapely:從HTML網頁中提取結構化數據的庫;
●youtube-dl:一個從YouTube下載視頻的小命令行程序;
●you-get:Python3的YouTube、優酷/ Ni買粉絲ni買粉絲視頻下載器;
●WikiTeam:下載和保存wikis的工具。
十五、WebSocket
●Crossbar:開源的應用消息傳遞路由器;
●AutobahnPython:提供了WebSocket協議和WAMP協議的Python實現并且開源;
●WebSocket-for-Python:Python 2和3以及PyPy的WebSocket客戶端和服務器庫。
十六、DNS解析
●dnsyo:在全球超過1500個的DNS服務器上檢查你的DNS;
●pycares:c-ares的接口。
十七、計算機視覺
●OpenCV:開源計算機視覺庫;
●SimpleCV:用于照相機、圖像處理、特征提取、格式轉換的簡介,可讀性強的接口;
●mahotas:快速計算機圖像處理算法,完全基于 numpy 的數組作為它的數據類型。
十八、代理服務器
●shadowsocks:一個快速隧道代理,可幫你穿透防火墻;
●tproxy:tproxy是一個簡單的TCP路由代理,基于Gevent,用Python進行配置。
十九、其他Python工具列表
●awesome-python
●pycrumbs
●python-github-projects
●python_reference
●pythonidae
外貿DIY自建站必讀:選對CMS提高網站排名
1)什么是CMS?
CMS就是買粉絲ntent management system的縮寫,就是帶后臺管理的內容管理系統,相信各位絕大多數的網站都在使用某種CMS了。
CMS無論在模板修改、新增產品、網頁更新等方面都有著無與倫比的優勢,因此做網站一定要用CMS。網頁定期更新對提高排名至關重要。
CMS由網站文件和數據庫兩大部分組成,說通俗一點,文字內容其實都在數據庫中,圖片內容都上傳到網站文件夾中。
2)手機兼容性
目前超過一半的流量來自手機瀏覽,而絕大多數企業的網站目前并不兼容手機瀏覽。因此如果剛好要更新網站的話,建議一步到位選用能兼容手機瀏覽的CMS。下圖右側就是不兼容手機的頁面。外貿建站更應該考慮到手機兼容性。
3)靜態頁面
靜態頁面打開更快,便于潛在客戶瀏覽,對搜索引擎友好度更好。
因此選擇CMS的時候一定要選擇能自動生成靜態頁面的。
如果你的商品頁買粉絲是買粉絲或htm結尾的,這種就是靜態頁面。如果是php、asp或數字結尾的,就是動態頁面。
國外著名CMS系統joomla采用的就是動態頁面,不僅收錄不好,打開速度也很慢,這種就不適合作為企業網站了,所以凡事要認真分析才行,名牌有時候不一定好用。
4)CMS的安全性
CMS大多是免費的,模板大多數也是免費的,因此不可避免有不少漏洞,甚至被人故意加了后門。
你一旦使用這樣的網站,被黑是早晚的事情。目前黑客大部分都會在攻陷的網站下面自動放幾個文件夾,每個文件夾里放幾萬個網頁,內容大多涉及博彩、代考等違禁信息。接下來搜索引擎一定會對你的網站降權,讓你欲哭無淚。預防方式可用webscan.360.買粉絲對自己的網站進行定期掃描。(如下圖)
黑客還可能使用暴力破解。預防方式是網站登錄頁面不要用默認路徑,用戶名不要用默認的用戶名如admin,密碼也要盡可能復雜,登錄時必須輸入驗證碼。
許多企業是請網絡公司制作的網站,請記住他們并不負責網絡安全,因此你自己要懂才行。
5)CMS的圖片和視頻存放
企業官網的商品頁經常需要發布大量的圖片和視頻,那么這些圖片視頻應該存放在哪里呢?
圖片:可直接上傳到你的官網,CMS均支持上傳圖片的,只要你使用的服務器較好的話,加載肯定沒問題。圖片最好在PS