网站伪静态和动态网页重复收录的解决办法

说明：
　　静态网址：纯静态HTML文档，能使用filetype:htm 查询到的网页。
　　伪静态网址：使用 Rewrite 将动态网址进行重写，使动态网址看起来像静态网址。现在很多的后台，充分考虑到SEO，支持URL的重写，链接中带关键词，且链接清晰明了。
　　动态网址：内容存于数据库中，根据要求显示内容，URL中以 ？ # & 显示不同的参数，如：news.php？lang=cn&class=1&id=2。动态网址的会话标识（sid）和查询（query） 参数，容易造成大量相同页面，有时蜘蛛进入了会进入死循环，出不来。所以到现在为止，蜘蛛还是不太喜欢动态的。

　　在搜索引擎收录中时常有一个现象，同样的内容搜索引擎收录了不止一次，其中有“静态页面，也有动态或伪静态页面。

　　如此一来虽然是增加了网站的收录量，但搜索引擎并不赞同如此“重复内容”的收录。最后所带来的结果，往往轻则重复快照被回收删除，重的甚至直接影响网站权重。

　　所以在网站优化中被搜索引擎“重复收录”是大患，若存在如此现象，应引起站长高度重视，尽量做出手段为好，否则必影响网站在搜索引擎中的排名效果。

　一：重复收录的原因是什么
　　在网站优化过程中，搜索引擎是不喜欢重复收录网站内容的，关于这一点，搜索引擎早有过明确的规范，即使在谷歌“管理员工具”中亦可直接看到相关建议。但为什么还会重复收录呢?
　　A：搜索引擎毕竟只是人为编写的一套规则，做不到充分的识别，所以导致多URL地址的内容重复收录。
　　B：程序设计问题，有些程序在设计中为了“预览”方便在后台存在动态页面。但因设计不当，导致搜索引擎依旧通过目录的索引便可发现这一存在，进而对其索引收录。
　　C：模板问题，在模板制作中常常易忽视这一问题，最后模板完成后既存在动态页面，又存在静态页面，试问如此怎能不被搜索引擎重复收录呢?

二：重复收录的后果有哪些
　　网站优化避免重复页被搜索引擎收录，但若被其收录，所影响又是什么呢?

　　一般来说，在搜索引擎收录后会将动态页面剔除，但若频繁如此反复的收录剔除、剔除收录，最终将导致蜘蛛反感，直接影响蜘蛛爬行频率。

　　另外一点，若网站存在如此大量收录页却没有被剔除，但最终都是一个影响网站的成长隐患，在未来搜索引擎大更重快照被严重剔除，势必严重影响网站当前权重，周而复始之下，网站何时才可以发展的起来呢?故而，搜索引擎不建议网站存在相同内容的多重URL地址连接。看来即使内容收录多了，也未必是好事啊!

三：如何避免内容被重复收录
　　找到了问题的根源，接下来便是解决问题的时候，那么如何解决如此现象呢，其实也很容易：

　　A：URL标准化，

　　B：利用robots.txt进行屏蔽动态文件，如何设置呢？

　　我们可以直接在robots.txt文件里写入规则，禁止搜索引擎来抓取动态页面，动态页面都有一个共同的特征，就是在链接里会带有“？”这个问号的符号，具体的robots指令规则看下面：

　　User-agent: *
　　Disallow: /*?*

　　如果想直接指定搜索引擎抓取指定类型文件，如html格式的静态页面，其规则看下面：

　　User-agent: *
　　Allow: .html$
　　Disallow: /

　　A：在网站建设过程中尽量统一URL地址，勿使用动态页面进行链接，一来是搜索引擎青睐静态页面，另一方面也防止了相同内容被搜索引擎重复收录的结局。

　　B：利用robots.txt进行动态文件的屏蔽，如：“Disallow: /*?*”说明：如此屏蔽法适合在不存在“TAG标签”下利用，否则标签也将被屏蔽。不过屏蔽可灵活运用，在不同的程序下，不同屏蔽即可。

　　网站建设与优化严把细节优化，内容重复收录是大患，应认真对待，否最终难以逾越排名障碍。