单个网页如何禁止搜索引擎爬取的方法

    2020-02-26 23:54:40 · 原创文章

    发表时间:

    单个Html页面通过meta标签实现robots禁止搜索引擎爬取或者所引的方式,咱们先来看例子吧。
    1.禁止搜索引擎索爬虫爬取此网页,但搜索引擎可以通过此网页的链接继续爬取其它网页。
    <meta name=\"robots\" content=\"noindex\">
    2.禁止搜索引擎索爬虫爬取此网页,但搜索引擎不可以通过此网页的链接继续爬取其它网页。
    <meta name=\"robots\" content=\"nofollow\">
    3.上面示例定义了此网页不被搜索引擎索引进数据库,且搜索引擎不可以通过此网页的链接继续索引其它网页。
    <meta name=\"robots\" content=\"none\">
    针对谷歌GOOGLEBOT使用robots。
    可以将name的属性只定义为GOOGLEBOT标识为谷歌搜索引擎。
    <meta name=\"googlebot\" content=\"noindex, nofollow\">
    针对百度baiduspider使用robots。
    可以将name的属性只定义为baiduspider标识为百度搜索引擎。
    <meta name=\"baiduspider\" content=\"noarchive\">

    KEYAN编码网址解码

    · END ·

    关键词:单网页如何通过meta标签实现robots禁止爬取 标签:单个Html页面通过meta标签实现robots禁止搜索引擎爬取或者所引的方式

    以上内容来源本站

最新 工具

单个网页如何禁止搜索引擎爬取的方法

发表时间:2020-02-26 23:54:40 原创文章

单个Html页面通过meta标签实现robots禁止搜索引擎爬取或者所引的方式,咱们先来看例子吧。
1.禁止搜索引擎索爬虫爬取此网页,但搜索引擎可以通过此网页的链接继续爬取其它网页。
<meta name=\"robots\" content=\"noindex\">
2.禁止搜索引擎索爬虫爬取此网页,但搜索引擎不可以通过此网页的链接继续爬取其它网页。
<meta name=\"robots\" content=\"nofollow\">
3.上面示例定义了此网页不被搜索引擎索引进数据库,且搜索引擎不可以通过此网页的链接继续索引其它网页。
<meta name=\"robots\" content=\"none\">
针对谷歌GOOGLEBOT使用robots。
可以将name的属性只定义为GOOGLEBOT标识为谷歌搜索引擎。
<meta name=\"googlebot\" content=\"noindex, nofollow\">
针对百度baiduspider使用robots。
可以将name的属性只定义为baiduspider标识为百度搜索引擎。
<meta name=\"baiduspider\" content=\"noarchive\">

· END ·

关键词: 标签:

以上内容来源本站

 

关于稻搜 - 免责声明

 

网站地图 . 博客大全 . 频闪幻觉

 

© 2020 dgso.cn 吉ICP备17000796号