Scrapy,Python開發(fā)的一個快速、高層次的屏幕抓取和web抓取框架,用于抓取web站點并從頁面中提取結構化的數據。Scrapy用途廣泛,可以用于數據挖掘、監(jiān)測和自動化測試.
其最初是為了頁面抓取 (更確切來說, 網絡抓取 )所設計的, 后臺也應用在獲取API所返回的數據(例如 Amazon Associates Web Services ) 或者通用的網絡爬蟲.
Scrapy吸引人的地方在于它是一個框架,任何人都可以根據需求方便的修改。它也提供了多種類型爬蟲的基類,如BaseSpider、sitemap爬蟲等,最新版本又提供了web2.0爬蟲的支持.