屏蔽Google蜘蛛还需留意meta形式的noindex打赏

分类：网站建设 | 2012-07-31 21:14:29 | 浏览(19,543)

38条评论

之前一直使用All in one SEO pack，也一直知道这个插件的优缺点，这段时间在家没事，就索性卸载了插件，不但效率高起来了，后台主题列表也一下子清爽了许多，之后通过修改代码处理了title、description等，将近半个月时间过去了，Google、百度的收录还算稳定，但是在Google、百度的搜索结果中就是不出现关于、链接等页面的收录。

开始一直以为是因为最近设置了robots.txt屏蔽tag和归档页的收录，屏蔽了相关的收录，使用Google的在线管理平台测试也是通过的，没有任何问题，设置了robots.txt屏蔽后也确实不少不希望收录的页面收录受到影响，但在Sitemap.xml里面出现的网址很多是robots.txt里面所不允许的，这样就出现了Google站长平台的警告，详见《不要让你的网站Sitemap误导了Google蜘蛛》。

修改了Sitemap.xml的相关生成选项，警告是没有了，但还是迟迟不见关于页等出现在搜索结果中，今天细条相关参数，终于发现了问题，原来在关掉All in one SEO pack之后，曾尝试性的在模板的meta里面添加了<meta name="Googlebot" content="noindex,follow"/>项，为了避免首页和文章也收录受影响，通过php判断语句根据不同条件选择是否打印此meta值，而条件只有!is_single()和!is_home()，这样以来，我希望收录的分类目录页和关于页等页面都会出现<meta name="Googlebot" content="noindex,follow"/>，对于百度，可能是反应慢的结果，但对于Google，这却是条严格的限制。

查了资料，好像现在完美支持meta的抓取限制的搜索引擎没几个，而Google就是其中之一，虽然没有了Sitemap.xml与robots.txt的冲突，但却出现页面meta不允许抓取，这样，还是不会出现在搜索结果中的，所以说，屏蔽Google蜘蛛还需留意meta形式的noindex，如果你设置了meta来屏蔽，就要保证你的判断全面一点，这样才能够保证需要收录的页面都能够收录。

对于修改meta后的生效时间，暂时未知，小子也是刚刚修正过来，等待生效中，不过，在没有必要的情况下，如果设置了robots.txt，把相关的meta取消也是一样的。毕竟实现的都是一个效果而已，何必多此一举呢？当然，这里小子只是为了测试，所以另当别论了。

屏蔽Google蜘蛛还需留意meta形式的noindex
 文章《屏蔽Google蜘蛛还需留意meta形式的noindex》二维码
  • 微信打赏
  • 支付宝打赏

已有38条评论

  1. 土木坛子

    这些东西我是不管的，聪明的搜索引擎会知道如何处理。

    2012-08-04 22:42 回复
    • 朴人博客

      我也有打算不做限制了，限制搞的google收录降了很多

      2012-08-04 22:45 回复
  2. 搜趣软件

    我就没用这插件，好像现在就算写了keywords，description也没什么用。

    2012-08-02 11:51 回复
    • 朴人博客

      现在百度貌似反应很慢，收录还是不见提高，估计我更换几次cdn，加上博客被攻击，导致现在的情况了

      2012-08-02 14:17 回复
  3. 搜趣软件

    我就没用这插件，好像现在就算写了keywords，description也没什么用。

    2012-08-02 11:51 回复
    • 朴人博客

      现在百度貌似反应很慢，收录还是不见提高，估计我更换几次cdn，加上博客被攻击，导致现在的情况了

      2012-08-02 14:17 回复
  4. 大葱

    没用过这插件，全是手动修改滴。

    2012-08-01 20:44 回复
  5. 大葱

    [吃惊] 没用过这插件，全是手动修改滴。

    2012-08-01 20:44 回复
  6. 夜央

    。。。这种东西有那么复杂么。什么都没搞，本来用all in one的，后来发现主题自带 seo功能了。两者会重复。索性就写在了。收录什么的，百度貌似刚开始一个星期突然不收录了。不过现在恢复了

    2012-08-01 15:49 回复
    • 朴人博客

      都一样额。主题自己做了seo优化就省事多了。修改主题加代码效率就是比插件高点。

      2012-08-01 17:49 回复
      • 夜央

        额。我用了一个月是ALL IN ONE 某天发现我的任何页面都有相同的两个…

        2012-08-01 20:13 回复
        • 朴人博客

          重复了吧。呵呵

          2012-08-01 21:09 回复
          • 夜央

            向百度学习~！重复~

            2012-08-01 21:39 回复
            • 朴人博客

              百度怎么了，重复？

              2012-08-01 23:44 回复
              • 夜央

                百度最爱重复收录了。管你写不写robots.txt

                2012-08-01 23:46 回复
                • 朴人博客

                  这样额，还真不清楚。

                  2012-08-01 23:48 回复
                  • 夜央

                    我一个月前改了robots.txt写了disallow： replytocom 的语句，到现在照收不误。烦死了。不过貌似收的少了

                    2012-08-01 23:59 回复
                    • 朴人博客

                      呵呵。有人直接disallow:/据说可以限制收录

                      2012-08-02 00:02
                    • 夜央

                      这个是真的

                      2012-08-02 00:59
  7. 夜央

    。。。
    这种东西有那么复杂么。
    什么都没搞，本来用all in one的，后来发现主题自带 seo功能了。两者会重复。索性就写在了。收录什么的，百度貌似刚开始一个星期突然不收录了。不过现在恢复了

    2012-08-01 15:49 回复
    • 朴人博客

      都一样额。主题自己做了seo优化就省事多了。修改主题加代码效率就是比插件高点。

      2012-08-01 17:49 回复
      • 夜央

        额。我用了一个月是ALL IN ONE 某天发现我的任何页面都有相同的两个…

        2012-08-01 20:13 回复
        • 朴人博客

          重复了吧。呵呵

          2012-08-01 21:09 回复
          • 夜央

            向百度学习~！重复~

            2012-08-01 21:39 回复
            • 朴人博客

              百度怎么了，重复？

              2012-08-01 23:44 回复
              • 夜央

                百度最爱重复收录了。管你写不写robots.txt

                2012-08-01 23:46 回复
                • 朴人博客

                  这样额，还真不清楚。

                  2012-08-01 23:48 回复
                  • 夜央

                    我一个月前改了robots.txt写了disallow： replytocom 的语句，到现在照收不误。烦死了。不过貌似收的少了

                    2012-08-01 23:59 回复
                    • 朴人博客

                      呵呵。有人直接disallow:/据说可以限制收录

                      2012-08-02 00:02
                    • 夜央

                      这个是真的

                      2012-08-02 00:59
  8. 即时比分

    貌似在哪看过这篇文章

    2012-08-01 13:13 回复
  9. 即时比分

    貌似在哪看过这篇文章

    2012-08-01 13:13 回复

（必填）

（必填）

（可选）