Screaming frog是最好用的爬蟲模擬軟件/工具，它可以快速爬取你整站的URL，分析TDK、狀態(tài)碼、http、重定向、文件大小、內(nèi)鏈數(shù)、SERP等等。他是On-page的非常好的工具。免費(fèi)版可以抓取500鏈接，對(duì)于一般的網(wǎng)站也夠用。

Screaming frog的功能

1、文件類別（html、javascript、css、image、pdf、flash、other）；

2、HTTP 狀態(tài)碼（Status Code）；

3、Page Title 和Page Title 的長度；

4、Meta Description 和Meta Description 的長度；

5、Meta Keywords 和Meta Keywords 的長度；

6、H1 和H1 的長度；

7、H2 和H2 的長度；

8、Canonical URL；

9、文件大?。壕W(wǎng)址和圖片的大小。

Screaming
frog可以讓蜘蛛在網(wǎng)頁上不斷的搜索需要的資源，可以設(shè)置搜索的一個(gè)主要網(wǎng)頁地址，并設(shè)置自定義分析擴(kuò)展頁面的功能，這樣軟件就會(huì)自動(dòng)在一個(gè)網(wǎng)站上分析幾十個(gè)、上百個(gè)網(wǎng)頁界面，通過Screaming
Frog SEO
Spider分析以后，就可以得到自己需要的數(shù)據(jù)，同時(shí)也可以通過抓取的功能測(cè)試網(wǎng)頁的性能，分析一切無法響應(yīng)的網(wǎng)頁，分析打開具有病毒提示的網(wǎng)頁，另外該軟件還支持使用XPath提取數(shù)據(jù)，所以只要你的網(wǎng)站結(jié)構(gòu)簡(jiǎn)練就不必?fù)?dān)心在抓取時(shí)可能會(huì)出現(xiàn)錯(cuò)漏問題，無論是檢測(cè)企業(yè)網(wǎng)站還是搜索網(wǎng)絡(luò)的資源都是非常方便的