向搜索引擎说NO

雨林星空 2009-12-18

如果你的网站有MP3等音频文件的话，你可能会遇到被强行收录的问题，可恶的mp3引擎；

我们的服务器本来就很慢，又他们的下载我们就傻了。

解决办法:

写robot.txt：

如：

Quotation

#

#d-fone.com

#

User-agent:*

Disallow:/control/

Disallow:/userfiles/　

比较大的搜索引擎（百度、新浪、雅虎）还是比较挺文明的，他先访问你网站的robot.txt;　看看那个是可以访问的，然后爬虫才会去收录；

2.用apache的Rewrite的功能，类似如下

##ApacheRewrite

RewriteEngineOn

RewriteCond%{HTTP_REFERER}!^http://d-fone.com/show/.*$[NC]

RewriteCond%{HTTP_REFERER}!^http://www.d-fone.com/show/.*$[NC]

RewriteCond%{HTTP_REFERER}!^http://d-fone.com/bao/.*$[NC]

RewriteCond%{HTTP_REFERER}!^http://www.d-fone.com/bao/.*$[NC]

RewriteRule.*\.(mp3|mp4|wav|wma|mid|wmv|avi|3gp|flv|mpeg4|rm|rmvb|bmp|sis|sisx|tsk|jar|cab|zip|rar|hme|exe|nth)$http://www.d-fone.com/userfiles/d-fone.com.txt[R,NC]

: 雨林星空

相关推荐

站长福利，分享一下今日头条搜索引擎提交及网站认证方法。

站长福利，分享一下今日头条搜索引擎提交及网站认证方法。现在头条搜索刚开始，比如容易收录网站，大家可以试试。而且还可以官网认证，都是免费的。

athrenzala 0喜欢 / 0评论 2020-05-28

做好网站优化，必须注意这些问题

企业网站建设肯定是非常重要的。这一点被企业所深刻的认识到，但是网站建设不可以盲目进行，而是要有技巧性的完成，这里指的是后期优化工作，因为建站相关事宜，由建站公司来完成，只要是经验丰富的公司，都不会有什么问题，可以保证网站的效果，但是指望着网站上线后自己发挥

etedyh 0喜欢 / 0评论 2020-03-03

SEO教程:快速增加360搜索引擎收录，360自动推送批量推送版

分析发现，这跟百度的自动推送代码其实都差不多的，一个s.gif，一个zz.gif 只不过360多了一个token. 在这里我们通过api后台生成token，然后在通过POST异步请求的方式处理图片也就是那个zz.gif. 没关系，如果你懒的折腾，可以直接

chenluhan 0喜欢 / 0评论 2020-01-04

一个在网络上非常爆红的「搜索引擎」，可能比百度都好用

最近这两天，在网络上走红了一款「搜索引擎」，用过它，看见它的人都说：这个搜索引擎才是时代（世代）该有的搜索引擎。大家好，我叫：Magi 。人人见了我都说我是这个世代该有的搜索引擎，说实话，你们太过赞誉了，我其实很一般，之所有让大家感觉优秀，应该都是同行的衬

huhu 0喜欢 / 0评论 2019-11-09

为什么友情链接能提升百度排名、有帮助的作用

在早期的互联网生态里面，企业网站的诞生要比搜索引擎出现的更早，在各行各业的网站逐渐增多之后，用户无法记住较多网站域名地址，于是网址导航就诞生了，再逐渐的才有了搜索引擎，搜索引擎诞生的理由是它能方便快捷的让用户搜索到他们想要去的网站，但是提供服务前，搜索引擎

athrenzala 0喜欢 / 0评论 2019-11-05

解密怎么才能知道这个网站的权重在搜索引擎上是高的呢？

很多人在做外链的时候都会选择一些权重高的网站来进行外链的交换，可是怎么才能知道这个网站的权重在搜索引擎上是高的呢？其实一个网站是否具备很高的权重至少要具备以下几点内容：。这几点就是判断一个网站权重的基本的要求，也是大家交换网站外链时候要注意的几点，因为做网

柳永法的个人 0喜欢 / 0评论 2019-11-01

网站新闻怎么写才能被搜索引擎收录？

怎么提高网站新闻页收录问题，我想难倒了很多网站优化人员。很多人问为什么自己写的原创文章百度就不收录，反而别人伪原创的立马就收录了，这什么道理？seo们别急，下面互旦科技给大家好好解答其中的原因？通常大家认为文章优化中关键词只要插入就可以了，比如说优化“se

jinyanliang 0喜欢 / 0评论 2019-10-29

网站seo优化的注意事项

随着互联网的快速发展，各种网站如雨后春笋一般，并且百度算法也在不断更新，但是由于建站者并不一定都对网站seo优化知识有全面的了解，从而导致网站的排名、收录、用户体验等都不好，由此每天新增的网站中有着很大的一部分成为了垃圾站，淹没在庞大的信息潮流中，还有一部

凤涅盘 0喜欢 / 0评论 2019-10-25

深圳北易信息：网站做了优化还不被收录的原因

现在每家企业都有一个网站，那么相信很多站长在优化企业网站的时候都会遇到许多情况，网站排名莫名其妙下降，或者权重下降，再或者就是网站做好了优化也没被搜索引擎收录。那么这篇文章为大家讲解：深圳网站SEO优化,网站做了优化还不被收录的原因。

athrenzala 0喜欢 / 0评论 2019-10-24

网站优化是什么？

网站优化的目的就是使网站更容易被搜索引擎收录，提高用户体验和转化率进而创造价值。SEO优化是针对搜索引擎对网页的检索特点，让网站建设各项基本要素适合搜索引擎的检索原则，从而使搜索引擎收录尽可能多的网页，并在搜索引擎自然检索结果中排名靠前，最终达到网站推广的

haifeng 0喜欢 / 0评论 2019-10-22

没有爬虫，就没有今天的搜索引擎

在如今信息化、数字化的时代，人们已经离不开网络搜索了，但细想一下，你在搜索过程中能够真正获得相关信息，是因为有人在帮你把与之相关的内容筛选和呈递到你面前了。就像在饭店里，你点了土豆并且能吃到，是因为有人帮你在土豆、萝卜、西红柿等中找到土豆，也有人把土豆拿到

WEB程序员 0喜欢 / 0评论 2019-09-26

向搜索引擎提交网站的登录入口

目前大多数搜索引擎提供了网站的提交路口，我们可以通过他们提供的入口提交站点，让搜索引擎能够及时抓取网站的数据。contact_type=suggest_content&hl=cnbing(必应)网页提交登录入口：http://www.bing.co

yingking00 0喜欢 / 0评论 2015-12-27

如何禁止网站内容被搜索引擎收录的几种方法讲解

通常做网站的目标就是让搜索引擎收录，扩大推广面，但是如果你的网站涉及个人隐私或者机密性非公开的网页而需要禁止搜索引擎收录抓取的话，该如何操作呢？比如淘宝网就是禁止搜索引擎收录的一个例子，本文将教你几种做法来实现屏蔽或禁止搜索引擎收录抓取网站的内容。搜索引擎

一张白纸 0喜欢 / 0评论 2019-03-21

受搜索引擎喜欢的网页有哪些特征

但是我们具体结合这一因素操作的时候就要综合考虑，相关性，内容丰富度，受众人群，和是否利于搜索引擎抓取等。C、页面超链是搜索引擎分析页面重要性的一个非常重要因素。非常认同百度搜索研发部提出的一个观点：最合适放在首位的网页不一定是在每个特征上都最好，而应该是能

enjoyhot 0喜欢 / 0评论 2012-06-11

老站长交你如何解决网站排名有波动的经验

最后说明一点，笔者主要是针对老站进行分析影响排名不稳定的原因，如果你的站点是新站的话，排名不稳定是很正常的，因为百度都是有一个考察期的，所以对于新站而言不要纠结于排名问题。

qiuqiang 0喜欢 / 0评论 2012-03-06

不在畏惧搜索引擎算法调整之万变不离其宗

　　在一个就是网站的外链了，对于搜索引擎而言，现在对外链的管理也是越来越加强了，通过外链的实质性、更新程度和质量方面都在原基本条件下提供了很多。　　站点的权重和排名问题也是非常值得站长们去进行思考的，对于搜索引擎而言现在是越来越重视商业、企业的用户，对站长

ycsx0 0喜欢 / 0评论 2011-05-12

网站SEO优化五个小技巧的分享

可是如何才能够做好网站的SEO优化呢?仅仅依靠理论上的知识是远远不够的，还需要从实践中摸索出自己的经验，当然能够学习一些成功的实战经验，能够让自己在SEO优化的道路上少走一些弯路，下面就是笔者分享的自己在实战经验中摸索的三个小技巧，希望能够对广大站长朋友们

huhu 0喜欢 / 0评论 2011-05-12

四招打造搜索引擎喜爱的网站

对于新网站而言最开始的机遇反而是最好最公平的，一旦在搜索引擎这里获得了良好的权重对于后续的发展便能进入到相对的稳定期。而对于有一定时间的网站来说，如何保持并提高网站已有的权重或排名，则需要另一番针对性的对策。

mzdanvy 0喜欢 / 0评论 2011-03-30

360搜索引擎自动收录php改写方案

360搜索引擎自动收录功能，官方提供了代码，带式，十分坑爹，没有提供批量提交入口，只是提供了一段js代码，关键是一个js去下载另外一个js，document.write到文档，然后再重复2遍如此工作。难道是，靠这个自动提交功能，搜集网站的数据，比如do

haifeng 0喜欢 / 0评论 2018-04-28

SEO优化之相关<HTML>标签专业解读

以你的核心关键字为基础;搜索引擎会对Title里面的内容进行分词,排在前面的关键字越容易被收录,也就是分到的权重越高,所以要慎重选择此关键字.相对而言关键字越多,越易与你的网页内容相符合.但需注意,Title标签中的单词尽量不要全部都是关键字,这会造成页面

唐爱平的blog 0喜欢 / 0评论 2016-03-15

禁止搜索引擎收录的方法

搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个rob

greatking 0喜欢 / 0评论 2015-10-23

企业网站SEO优化方案实例(zz)

　　早先曾经受邀帮助某企业网站进行了一次SEO优化分析，解决这个网站存在的种种不规范的SEO问题，最终提高了该网站整体的页面排名和权重，这里月光博客就和大家分享一下这个案例，希望能和大家一起探讨一下这个SEO优化方案的优劣。　　该企业网站有一个16年的域名

xuuyue 0喜欢 / 0评论 2015-06-02

robots.txt 不让搜索引擎收录网站的方法

简单的说，搜索引擎实际上依靠的庞大的网页数据库。所谓全文搜索，是搜索引擎通过从网页自动提取信息来建立数据库的过程。另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信息存入数据库，

haifeng 0喜欢 / 0评论 2014-08-21

如何让我们的新网站被搜索引擎认可收录

在此笔者根据2年的网站优化成功经验为新手站长总结出来了做好网站优化的三个方面。这三个方面主要围绕如何让搜索引擎从接受网站到认可网站的一个过程。另外笔者在此提醒，一下内容仅为笔者的一家一言，仅供参考，真正的干货还是需要不断地实践才能收获的。然后还要把ti

冬冬阳光 0喜欢 / 0评论 2013-11-07

开发者必备的6款源码搜索引擎

在推动技术变革上，开源运动发挥了非常显著的作用。而Linux成功地将开源转换成商务模式，给广大开源工作者带来了更大的信心和勇气。目前，开源已成为主流，在未来的几年内，它的足迹将会遍布前沿教育、航空航天等许多领域。　　借鉴现有的开源项目或开源代码，对于初级开

tonygsw 0喜欢 / 0评论 2013-08-09

SEM搜索引擎营销（SEM经理）

SEM是搜索引擎营销，包括SEO，单纯来说一般的SEO只是为了搜索引擎的排名来针对网站进行优化和代码结构重建，但是不会考虑竞价排名，SEO注重的是流量，SEM注重的是营销，意思就是定向流量，但是会考虑竞价排名。SEM,全称Search Engine Mar

ach 0喜欢 / 0评论 2013-04-24

怎样提交新站的网址给搜索引擎?史上最新最全的网站提交地址

当创建了一个新的网站时，我们想急于提高网站的访客数量，当务之急就是将我们网站的网址提交给各大搜索引擎，本文总结了各大搜索引擎的提交入口地址，分享给大家。百度网站收录提交地址：一个免费登录网站只需提交一页（首页），百度搜索引擎会自动收录网页。符合相关标准您

greatking 0喜欢 / 0评论 2013-01-09

搜索引擎收录了带www和不带www的网址原因分析

对于任何一个网站，都希望搜索引擎都尽快收录，但是近期有朋友反映说收录了两个一模一样的快照，怎么回事。后来经分析带www和不带www的根域名都指向了一个地方，如www.xjiu.com和xjiu.com都指向了一个相同的地方，经过301重定向，用户是感觉不到

WEB程序员 0喜欢 / 0评论 2013-01-03

图解搜索引擎工作原理

做SEO的，如果不懂搜索引擎的工作原理是很难恰当开展工作的。前几天给学生讲SEO课程中的搜索引擎工作原理时，很多同学表示不太懂。　　我们先来看搜索引擎的主要工作：页面收录、页面分析、页面排序及关键字查询。　　页面收录的最终目的是将网站上的内容加入到URL列

ibatsiSpring 0喜欢 / 0评论 2012-12-05

禁止搜索引擎爬虫抓取网站方法小结

本文主要通过查找网上资料，简单总结一下禁止搜索引擎爬虫抓取网站的方法。一般情况，大家都是希望搜索引擎爬虫尽可能多的抓取自己的网站，但有时也需要告诉爬虫不要抓取，比如，不要抓取镜像页面等。　　该项的值用于描述搜索引擎robot的名字，在"robot

ach 0喜欢 / 0评论 2012-06-27

让新网站首页快速被搜索引擎收录的几个技巧

让新注册的网站快速被搜索引擎蜘蛛爬行甚至收录到数据库中，已成为草根站长的一大难题。以及W3C标准化几个方向进行分析。臭虫小明不建议在首页堆砌多个长尾关键词，她们分布在频道页更为合适。臭虫小明的博客正儿八经能访问还是今天下午，在这之前已经制作好了模板，W3C

唐爱平的blog 0喜欢 / 0评论 2012-05-19

SEO中的图片优化

图片和视频等内容为早期互联网搜索引擎明确提出的不能抓取的资源，现在的情况又如何呢？随着网络视频领域的竞争加剧，搜索引擎中对电影和剧集的query的数量明显增加。国内的视频网站也非常重视seo这些视频资源会借助页面来呈现内容，搜索引擎通过页面来定位资源类型大

haifeng 0喜欢 / 0评论 2011-12-14

【转】Robots.txt和Robots META

robots.txt是一套指示搜索引擎（蜘蛛）如何抓取你的网页内容的一张地图，他告诉蜘蛛哪些需要抓取，哪些不要抓取。robots.txt文件必须存放在网站的根目录下。User-agent代表搜索引擎，可以指定特定的搜索引擎，星号表示所有；如果Meta标签缺

WEB程序员 0喜欢 / 0评论 2011-11-21

如何做伪原创文章能让搜索引擎收录带来更多流量赚广告

一般一天更新2-3篇就可以了，每天伪原创文章要在首页保持可以出现在醒目的位置，或者通过首页的栏目分类、最新文章、推荐文章2-3个位置都可以访问到这篇伪原创的位置，这样做是为了在搜索引擎中突出伪原创的展示率。原创和伪原创以及转载的比例为1:2:2比较适合，也

haifeng 0喜欢 / 0评论 2011-07-27

网站快照长期不更新原因及解决方法分析

如果网站超过十天没有被百度或者谷歌更新，至少在一定程度上说明，这个网站对谷歌或者百度来说已经无关轻重了。纵观国内数以百万计的网站，能够让搜索引擎经常更新的却为数不多。也许，我们现在能够理解为什么百度等搜索引擎，对原创内容那么的如饥似渴，那是因为真正的原创内

greatking 0喜欢 / 0评论 2011-07-05

搜索引擎收录新网站

对于一个新网站，搜索引擎收录的速度是比较慢的，google相对会快一点，一般一周内就可以收录了，百度则比较慢，一两个月也未必能收录。在这一过程中，在别的已经被收录且有一定影响力的网站挂友情链接是一个不错的方法，可以让搜索引擎在收录该网站的同时也把你的网站收

唐爱平的blog 0喜欢 / 0评论 2011-05-24

将网站免费推广到百度、谷歌、雅虎、新浪、有道等搜索引擎

百度网友反馈提交入口。雅虎网站收录提交入口

AIOps智能运维 0喜欢 / 0评论 2011-05-11

各大搜索引擎网站登录入口

网站建设、网站推广必不可少的步骤之一；各大搜索引擎网站登录入口：。Soso网站收录提交入口。搜索引擎收录查询

清风落叶 0喜欢 / 0评论 2011-05-07

数据采集

我们以前是通过次数和逻辑算法来控制的,这样才能治标治本,楼上都太简单,如果真想采集你的网站信息的话,其实很简单.采集器会怎么做：伪装HTTP_REFERER嘛，不难。

ach 0喜欢 / 0评论 2011-02-23

网站收录减少怎么办

网站收录的突然减少往往让你很纠结，今天合肥SEO培训主要介绍造成网站收录减少的9种原因，以及针对这9种原因的解决方案。空间速度良好是保证搜索引擎顺利抓取的前提，谷歌也明确网站的速度是排名的因素之一，百度也是如此。速度慢的空间收录结果一般都是非常差的。

唐爱平的blog 0喜欢 / 0评论 2011-02-17

垂直搜索引擎深度分析

它是与通用搜索引擎截然不同的引擎类型。垂直搜索引擎专注具体、深入的纵向服务，致力于某一特定领域内信息的全面和内容的深入，这个领域外的闲杂信息不收录。从竞争的角度来讲，垂直搜索引擎要做通用搜索引擎无法做到的事情，或者说，要做得更胜一筹。从2005以来，越来越

唐爱平的blog 0喜欢 / 0评论 2010-12-20

禁止搜索引擎的爬虫

拦截所有搜索引擎把网页收录：。只是拦截百度蜘蛛爬取网页，而允许其他搜索引擎收录：。允许搜索引擎收录你的网页，但禁止其追踪外部链接：

ibatsiSpring 0喜欢 / 0评论 2010-12-09

垂直搜索引擎深度分析

它是与通用搜索引擎截然不同的引擎类型。垂直搜索引擎专注具体、深入的纵向服务，致力于某一特定领域内信息的全面和内容的深入，这个领域外的闲杂信息不收录。从竞争的角度来讲，垂直搜索引擎要做通用搜索引擎无法做到的事情，或者说，要做得更胜一筹。从2005以来，越来越

冬冬阳光 0喜欢 / 0评论 2010-11-30

搜索引擎（SEM）的目标层次原理

搜索引擎营销可分为四个层次，可分别简单描述为：存在层、表现层、关注层和转化层。录的机会，这是搜索引擎营销的基础，离开这个层次，搜索引擎营销的其他目标也就不可能实现。搜索引擎登录包括免费登录、付费登录、搜索引擎关键词广告等形。存在层的含义就是让网站中尽可能多

ach 0喜欢 / 0评论 2010-11-24

6个网站改版时需要注意的问题

如果只是设计、功能和栏目等的稍微变动，这些很简单，从技术上说并没有多少难度。不管是改版还是重建，都需要先进行分析诊断，找出问题所在进行有效的优化改版，而不是盲目的去重新建设新的网站。事实上，倘若不是存在着很严重问题的网站，经过网站优化后，都能取得更好的发展

greatking 0喜欢 / 0评论 2010-11-22

如何把网站加入百度、google、Yahoo搜索、一搜、搜狗、中搜、爱问等搜索引擎.

如果你的网站有内容丰富，且无不良内容就可以免费加入搜索了。

deusrwvf 0喜欢 / 0评论 2010-08-17

怎样把搜索引擎收录的网页记录删除呢？

我的个人博客的某些网页被百度的搜索记录了，现在这些网页已被我删除，但百度依然还有这些记录，我想把这些记录删除了，那应该怎么办呢？具体情况参看百度的说明：。百度会收录符合用户搜索体验的网站和网页。为促使百度Spider更快的发现您的站点，您也可以向我们提交一

AIOps智能运维 0喜欢 / 0评论 2010-08-17

网站防爬虫

分析：没有哪个常人一秒钟内能访问相同网站5次，除非是程序访问，而有这种喜好的，就剩下搜索引擎爬虫和讨厌的采集器了。采集器会怎么做：伪装HTTP_REFERER嘛，不难。

ibatsiSpring 0喜欢 / 0评论 2010-08-05

页面的收录

页面的收录情况是站点在搜索引擎表现的重要衡量参数，在搜索引擎优化中，这也是一个无数人头痛的问题。常常有人向我们咨询，为什么Google里找。不到我的站点，连搜索网址都找不到呢？我昨天不是已经去百度递交了站点了吗？正确地被搜索引擎收录。系列文章分为4节。以下

WEB程序员 0喜欢 / 0评论 2010-07-09