单个网页如何禁止搜索引擎爬取的方法

    2020-02-26 23:54:40

    发表时间:

    单个Html页面通过meta标签实现robots禁止搜索引擎爬取或者所引的方式,咱们先来看例子吧。
    1.禁止搜索引擎索爬虫爬取此网页,但搜索引擎可以通过此网页的链接继续爬取其它网页。
    <meta name=\"robots\" content=\"noindex\">
    2.禁止搜索引擎索爬虫爬取此网页,但搜索引擎不可以通过此网页的链接继续爬取其它网页。
    <meta name=\"robots\" content=\"nofollow\">
    3.上面示例定义了此网页不被搜索引擎索引进数据库,且搜索引擎不可以通过此网页的链接继续索引其它网页。
    <meta name=\"robots\" content=\"none\">
    针对谷歌GOOGLEBOT使用robots。
    可以将name的属性只定义为GOOGLEBOT标识为谷歌搜索引擎。
    <meta name=\"googlebot\" content=\"noindex, nofollow\">
    针对百度baiduspider使用robots。
    可以将name的属性只定义为baiduspider标识为百度搜索引擎。
    <meta name=\"baiduspider\" content=\"noarchive\">

    KEYAN编码网址解码

    · END ·

    关键词:单网页如何通过meta标签实现robots禁止爬取 标签:单个Html页面通过meta标签实现robots禁止搜索引擎爬取或者所引的方式

    以上内容来源本站

文章推荐:

最新 工具

单个网页如何禁止搜索引擎爬取的方法

发表时间:2020-02-26 23:54:40

单个Html页面通过meta标签实现robots禁止搜索引擎爬取或者所引的方式,咱们先来看例子吧。
1.禁止搜索引擎索爬虫爬取此网页,但搜索引擎可以通过此网页的链接继续爬取其它网页。
<meta name=\"robots\" content=\"noindex\">
2.禁止搜索引擎索爬虫爬取此网页,但搜索引擎不可以通过此网页的链接继续爬取其它网页。
<meta name=\"robots\" content=\"nofollow\">
3.上面示例定义了此网页不被搜索引擎索引进数据库,且搜索引擎不可以通过此网页的链接继续索引其它网页。
<meta name=\"robots\" content=\"none\">
针对谷歌GOOGLEBOT使用robots。
可以将name的属性只定义为GOOGLEBOT标识为谷歌搜索引擎。
<meta name=\"googlebot\" content=\"noindex, nofollow\">
针对百度baiduspider使用robots。
可以将name的属性只定义为baiduspider标识为百度搜索引擎。
<meta name=\"baiduspider\" content=\"noarchive\">

· END ·

关键词: 标签:

以上内容来源本站

//评论数 //参与数

博主简介 - 广告合作 - 文章投稿 - 故事文摘 - 典范条目 - 博主新闻

 百科创建更新

网站地图

 

© 2020 blog.dgso.cn 赵彦彬博客 吉ICP备17000796号-1