SemrushBot是什么爬蟲？要不要屏蔽掉
SemrushBot是SEMrush的蜘蛛爬蟲。
SEMrush是一家老牌的提供搜索引擎優(yōu)化數(shù)據(jù)的公司，是一個強(qiáng)大的、全面的在線營銷競爭情報平臺,其中包括 SEO、PPC、社交媒體和視頻廣告研究。
建議中文站屏蔽掉它的爬行，首先因?yàn)檫@個蜘蛛爬行并不會給網(wǎng)站帶來流量，只會占用服務(wù)器資源，其次是這是已經(jīng)數(shù)據(jù)分析公司的爬蟲，它爬的數(shù)據(jù)會成為你競爭對手的分析利器。
如何屏蔽SemrushBot呢？
robots.txt文件中添加以下代碼即可：
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
下一篇
國外好用的seo分析工具（多款收費(fèi)）
