站長資訊網
文章目錄
- urllib
- request模塊
-
- 訪問URL
- Request類
- 其他類
- parse模塊
-
- 解析URL
- 轉義URL
- robots.txt文件
（免費學習推薦：python視頻教程）
urllib
urllib是Python中用來處理URL的工具包，源碼位于/Lib/下。它包含了幾個模塊：用于打開及讀寫的urls的request模塊、由request模塊引起異常的error模塊、用于解析urls的parse模塊、用于響應處理的response模塊、分析robots.txt文件的robotparser模塊。
注意版本差異。urllib有3個版本：Python2.X包含urllib、urllib2模塊，Python3.X把urllib、urllib2以及urlparse合成到urllib包中，而urllib3是新增的第三方工具包。若遇到"No module named urllib2"等問題幾乎都是Python版本不同導致的。
urllib3是一個功能強大、條例清晰、用于HTTP客戶端的Python庫。它提供了許多Python標準庫里所沒有的特性：壓縮編碼、連接池、線程安全、SSL/TLS驗證、HTTP和SCOCKS代理等。可以通過pip進行安裝：pip install urllib3
也可以通過GitHub下載最新代碼：
git clone git://github.com/shazow/urllib3.git python setup.py install
urllib3參考文檔：https://urllib3.readthedocs.io/en/latest/
request模塊
urllib.request模塊定義了身份認證、重定向、cookies等應用中打開url的函數和類。
再簡單介紹下request包，該包用于高級的非底層的HTTP客戶端接口，容錯能力比request模塊強大。request使用的是urllib3，它繼承了urllib2的特性，支持HTTP連接保持和連接池，支持使用cookie保持會話、文件上傳、自動解壓縮、Unicode響應、HTTP(S)代理等。
