企业网站建设

建站知识

今日已发布信息: 266265
累计注册用户: 80387565

robots.txt写法大全和robots.txt语法的作用

搜索引擎 即可写法如下 果我们禁止 网站的话

概述: 比如问号星号什么的,如果使用“*”,主要是限制访问某个后缀的域名,禁止访问/html/目录下的所有以".htm"为后缀的URL(包含子目录)。   robots.txt写法如下:   User-agent: *   Disallow: /html/*.htm   10如果我们使用“$”的话是仅允许访问某目录下某个后缀的文件   robots.txt写法如下:   User-agent: *   Allow: .asp$   Disallow: /   11如果我们禁止索引网站中所有的动态页面(这里限制的是有“?”的域名,例如index.asp?id=1)   robots.txt写法如下:   User-agent: *   Disallow: /*?*   有些时候,我们为了节省服务器资源,需要禁止各类搜索引擎来索引我们网站上的图片,这里的办法除了使用“Disallow: /images/”这样的直接屏蔽文件夹的方式之外,还可以采取直接屏蔽图片后缀名的方式

 

  1如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档,命名为robots.txt放在网站的根目录下即可。

  robots.txt写法如下:

  User-agent: *

  Disallow:

  或者

  User-agent: *

  Allow: /

  2如果我们禁止所有搜索引擎访问网站的所有部分的话

  robots.txt写法如下:

  User-agent: *

  Disallow: /

  3如果我们需要某一个搜索引擎的抓取的话,比如百度,禁止百度索引我们的网站的话

  robots.txt写法如下:

  User-agent: Baiduspider

  Disallow: /

  4如果我们禁止Google索引我们的网站的话,其实跟示例3一样,就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot

  即可

  robots.txt写法如下:

  User-agent: Googlebot

  Disallow: /

  5如果我们禁止除Google外的一切搜索引擎索引我们的网站话

  robots.txt写法如下:

  User-agent: Googlebot

  Disallow:

  User-agent: *

  Disallow: /

  6如果我们禁止除百度外的一切搜索引擎索引我们的网站的话

  robots.txt写法如下:

  User-agent: Baiduspider

  Disallow:

  User-agent: *

  Disallow: /

  7如果我们需要禁止蜘蛛访问某个目录,比如禁止admin、css、images等目录被索引的话

  robots.txt写法如下:

  User-agent: *

  Disallow: /css/

  Disallow: /admin/

  Disallow: /images/

  8如果我们允许蜘蛛访问我们网站的某个目录中的某些特定网址的话

  robots.txt写法如下:

  User-agent: *

  Allow: /css/my

  Allow: /admin/html

  Allow: /images/index

  Disallow: /css/

  Disallow: /admin/

  Disallow: /images/

 

  石嘴山网站建设  香港第一金   今日推荐免费建站   分类信息   上海网站建设公司

 

  9我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号,比如问号星号什么的,如果使用“*”,主要是限制访问某个后缀的域名,禁止访问/html/目录下的所有以".htm"为后缀的URL(包含子目录)。

  robots.txt写法如下:

  User-agent: *

  Disallow: /html/*.htm

  10如果我们使用“$”的话是仅允许访问某目录下某个后缀的文件

  robots.txt写法如下:

  User-agent: *

  Allow: .asp$

  Disallow: /

  11如果我们禁止索引网站中所有的动态页面(这里限制的是有“?”的域名,例如index.asp?id=1)

  robots.txt写法如下:

  User-agent: *

  Disallow: /*?*

  有些时候,我们为了节省服务器资源,需要禁止各类搜索引擎来索引我们网站上的图片,这里的办法除了使用“Disallow: /images/”这样的直接屏蔽文件夹的方式之外,还可以采取直接屏蔽图片后缀名的方式。

  示例12

  如果我们禁止Google搜索引擎抓取我们网站上的所有图片(如果你的网站使用其他后缀的图片名称,在这里也可以直接添加)

  robots.txt写法如下:

  User-agent: Googlebot

  Disallow: .jpg$

  Disallow: .jpeg$

  Disallow: .gif$

  Disallow: .png$

  Disallow: .bmp$

  13如果我们禁止百度搜索引擎抓取我们网站上的所有图片的话

  robots.txt写法如下:

  User-agent: Baiduspider

  Disallow: .jpg$

  Disallow: .jpeg$

  Disallow: .gif$

  Disallow: .png$

  Disallow: .bmp$

  14除了百度之外和Google之外,禁止其他搜索引擎抓取你网站的图片

  (注意,在这里为了让各位看的更明白,因此使用一个比较笨的办法——对于单个搜索引擎单独定义。)

  robots.txt写法如下:

  User-agent: Baiduspider

  Allow: .jpeg$

  Allow: .gif$

  Allow: .png$

  Allow: .bmp$

  User-agent: Googlebot

  Allow: .jpeg$

  Allow: .gif$

  Allow: .png$

  Allow: .bmp$

  User-agent: *

  Disallow: .jpg$

  Disallow: .jpeg$

  Disallow: .gif$

  Disallow: .png$

  Disallow: .bmp$

  15仅仅允许百度抓取网站上的“JPG”格式文件

  (其他搜索引擎的办法也和这个一样,只是修改一下搜索引擎的蜘蛛名称即可)

  robots.txt写法如下:

  User-agent: Baiduspider

  Allow: .jpg$

  Disallow: .jpeg$

  Disallow: .gif$

  Disallow: .png$

  Disallow: .bmp$

  16仅仅禁止百度抓取网站上的“JPG”格式文件

  robots.txt写法如下:

  User-agent: Baiduspider

  Disallow: .jpg$

  17如果 ? 表示一个会话 ID,您可排除所有包含该 ID 的网址,确保 Googlebot 不会抓取重复的网页。但是,以 ? 结尾的网址可能是您要包含的网页版本。在此情况下,沃恩可将与 Allow 指令配合使用。

  robots.txt写法如下:

  User-agent:*

  Allow:/*?$

  Disallow:/*?

  Disallow:/ *?

  一行将拦截包含 ? 的网址(具体而言,它将拦截所有以您的域名开头、后接任意字符串,然后是问号 (?),而后又是任意字符串的网址)。Allow: /*?$ 一行将允许包含任何以 ? 结尾的网址(具体而言,它将允许包含所有以您的域名开头、后接任意字符串,然后是问号 (?),问号之后没有任何字符的网址)。

  18如果我们想禁止搜索引擎对一些目录或者某些URL访问的话,可以截取部分的名字

  robots.txt写法如下:

  User-agent:*

  Disallow: /plus/feedback.php?

  以上内容供大家参考下即可。

 

草根站长做Taobao店的最佳途径

  关于淘宝客我也是最近才开始关注,说起来了也是一个偶然的机会。一次在站长网看了一篇关于网赚的文章,发现在做网赚的人中,做淘宝客的特别多,于是就有了想弄明白如何利用淘宝客来赚钱。接下来的一段时间里连续的在阿里妈妈联盟和一些分享做淘宝客经验的站点里看了些帖子和文章,对于淘宝客有一定的了解。因此想在这里说说个人站长如何去做淘宝客,淘宝客推广有如下几个形式,搜索推广、频道推广、页面推广、店铺推广、单品推广 、橱窗推广 。对于一个拥有网站的个人站长来说,这几个形式虽然都可以来做。但是因为大部分个人站点都是规模比较小,内容少,原创更少,所以就谈不上稳定的用户结构和可观的流量。这样的网站来做淘宝客,只能勉强放点单品和橱窗类的推广内容,对于成交量很难有保证。所以要探究个人站长如何做好淘宝客,最基本的必须要做两个方面的分析,一是个人能力及个人拥有的人脉资源分析,二是结合第一点分析对淘宝客几种推广方式作一个主次之分。站长个人能力主要也就这几个方面,一是技术方面,二是推广方面,三是天赋方面了。个人能力方面大多数人都处在同一个水平,很难说拉开比较大的差距。因而人脉资源方面的东西就显得比较重要了。拥有的人脉资源差距,有时候会成为个人站长做淘宝客成败的决定因素。比如说有的个人站长是一个大论坛的版主,或者是有对某一类型的产品有较深的了解等等...... 因而,只有把自己的优劣势搞清楚了,才能对把握好网站内容的重点了和怎么样用网站去给用户提供服务了。

  有了上面的分析,也许你会问,如果我技术、推广、天赋三方面都非常一般,也没有什么很好的人脉资源,那么我是不是也可以做淘宝客呢?搞清楚了自己就好,尽管看上去的确很苍白,,但也不要灰心了,毕竟这个世界上还是普通人多,内裤外穿的人少。在这里我就要给这类站长提供一种模式,那就是做店铺导航,主要推广淘宝网上的店铺,类似于酷阁酷导购网那样,这种网站对于技术要求不高,一般的站长都能胜任,把网店链接作为内容,对内容也不用操心了,这样可以节省下来时间来做推广工作了。因为这种网站的主要服务对象是那些经常在淘宝上购物的和想在购宝上购物但是又没有很多时间去挑选的人群。所以在选择推广的店铺上要多花心思比较一下,选择些质量比较好的。毕竟我们是提供一种服务,只有服务做好了,才能留住用户和发展新用户,我们的价值才能体现。这样的话,网站的内容,用户群体,推广方向和目标等几个大问题都解决了,就可以放开手好好做了。说了这么多,希望能给做淘宝客的网友有点借鉴意义。(重申一下,本文我主要征对普通站长的,高人或有小团体的路过就好了。)----独上西楼 End......

兑奖券营销PK导航站广告

  又一周没写博客了,之前一直在挣扎这周写什么好。是回顾下2010年的收获感想,还是谈谈PR不值不更新了如何判断外链质量标准。虽然这2个话题很早都想着要写,但一直没找到写的感觉。今天赶集网兑奖券活动,突然给了我很多感触,因此今天就来和大家一起来讨论下这个。

  最早做这类活动的是www.kvov.com,好像已经做了3期,算是抽奖活动形式的一个小创新。但是www.kvov.com虽然已经做了3期了,我之前却一直没太关注,只是知道www.kvov.com搞了个抽奖活动,但具体是流程并不明白。直到今天参加了赶集网的兑奖活动,再反过来去看了下www.kvov.com的活动。发现2者的活动形式是一模一样的,算是赶集网拷贝对方的活动形式吧。除了赶集网今天发现51.com也做类似的活动,而且更劲爆,直接送汽车,1个月就送10辆。

  首先拿赶集网和51.com的活动,作为案例进行PK。然后再和大家交流下,是不是通过这样的活动营销模式,真的就能取代传统的广告投放推广渠道了?

  一:活动案例:赶集网PK51.com

  虽然3个网站的活动形式差不多,但在活动规则上,我觉得赶集网更胜一筹,更加的吸引用户来参与。为什么这么说了,就拿今天同时搞兑奖活动的赶集网和51.com作为案例吧。

  奖品价值对比

  赶集网:3个iphone4+7个ipad+28个shuffle+5万个Q币 总费用在8W内。

  51网:每个月10辆奇瑞轿车,就算一辆轿车只价值2.5W。那也是30W。另外随机产生51VIP会员,手机话费等小奖。

  如何算有效参与:

  赶集网:方法1:注册赶集网,发一个分类信息帖子 2:浏览10个赶集网的帖子,就能获得兑换。


全民SEO时代 怎样从SEO肉搏战中突出重围

  一位SEOER在帖子中不无忧虑地写道:“.到处都是一样的内容,没有创新,没有新的东西进来,今天发个标题:‘SEO的8个重要XXX’,明天……‘SEO的4个重要XXX’把8个捏成4个写……但是你又不能不写,我们还是得厚颜无耻的写下去”。

  

 

  全民SEO时代如何做好SEO,实现梦想走向辉煌

  “过不了多长时间,SEO基本技术就将是所有网站和站长(必须掌握)的基本功”。果然不出ZAC与众多比较有前瞻意识的SEOER们所料,SEO普及很快,目前已经成为了广大站长与SEOER的基本技能了。伪原创与“内容只是无意义穿插关键词”的“发外链”的空前流行就是明证。

  “真实,真实,残酷的真实”,在百度搜索结果排名“举贤不避亲”( Lee所言)情况下,虽然SEO成本越来越高,效果越来越不明显。但短时间内,绝大多数网站仍不可能放弃SEO,如何整合SEO与其他营销手段,提升自己网站的销售,不仅“活下去”,而且活得更好,赢得更大的发展空间,甚至打造品牌网站,这就是众多中小网站目前必须马上应对的挑战了。

  

 

  网络上关于SEO的信息可谓汗牛充栋,应有尽有

  怎么办?首先还是必须从SEO做起,我们必须进一步做好自己网站SEO工作,清除网站可能存在的SEO死角。

  以前关注我博客的朋友知道,原来我博客一直都是首页与栏目页都是博文内容全屏展示,这造成了博客内部太多的重复页面,对博客收录与权重提升造成很大负面影响。

  实际上从上线之日起,我就意识到此问题严重性,自己到处查找,并请朋友帮忙检查,都没有找到症结所在。因为博客都是业余时间维护,更多时间关注的是内容问题,久而久之,疲了,我主观认定肯定是博客程序问题,总想着那天换博客程序一劳永逸解决此问题。

  可前两天一个朋友听我说起这问题,就替我简单检查了一下,结果他大吃一惊地说:“这问题太简单了,你怎么犯如此低级错误,没有做日志摘要,只要做日志摘要这问题就不存在了呀!”

  也许其他朋友不会像我一样,犯下如此低级错误,而且“坚持”8个多月。但我想也可能会存在类似熟视无睹的小漏洞,“当局者迷,旁观者清”,不妨让懂行的朋友多提意见,填补那些不干起眼的漏洞,“亡羊补牢,未为晚矣”。

  其次,面对残酷竞争,我们要逐步形成一个网站运营的整体构想,找到自己网站独特的发展模式,在这个前提之下,逐渐构建一个从网站原创内容体系构建、网站外链建设、整体关键词优化,到建立自己网站独特风格,最终形成一个服务于网站总体发展目标的网站SEO总体策略。不能人云亦云,一天盯着网站搜索引擎即时收录量、外链数量、关键词排名,这样下去真的很危险。

  要做到这一步,我们必须从日常SEO的琐碎工作中抽身出来,仔细研究行业发展概况及我们在行业中的位置,真正做好网站定位工作。这真的不容易,而且挺耗时,又不能马上见到效益的,但“磨刀不误砍柴工”,只要我们真正地用心思考,形成了自己独特的网站总体发展策略与网站总体SEO策略,甚至进一步做到阶段性规划,才能真正地走出激烈的同质化竞争的SEO肉搏战局面。

  第三,“不要把所有的鸡蛋都放在一个篮子里”,SEO永远只是网站运营一方面,没有任何知名品牌网站是靠SEO做起来的,我们要整合QQ营销、微博营销、博客营销、论坛营销、邮件营销、短信营销、活动营销等各种营销推广手段,不要面面俱到,而是通过实践与分析,将自己的特色做足,努力构建自己独特的网站营销方法体系。

  而且,必须强调的是,在任何营销之中,都不能营销心情太过迫切,是的,我们任何时候都要心怀网站推广的激情,但这样的激情永远都必须通过“将欲取之,必先与之”的方式达到,“益人才能利己”。

  百度搜索工程师Lee前在百度站长俱乐部《推荐一本书》帖子所说:“我知道很多人为了更好的排序,从搜索(引擎)策略角度出发,做了很多‘优化’,但比较少的顾及搜索者的心理和行为决策”。

  实际上不仅仅是SEO,所有网站营销都应该从这个角度来考虑,只有真正地尊重营销受众,你的营销内容才可能被重视,你的营销才可能走得更远,真正达到“文字向远方说话”的效果。

  在目前垃圾信息泛滥的情况之下,正确的营销态度与营销体系的建立最终能达到预想不到的营销效果,有效地支撑起网站SEO工作,真正达到“跳出SEO做SEO”的效果。

  但要真正做到以上几点,就必须通过不懈的努力,从网站营销创意上下功夫,根据潜在用户需求与行业整体营销情况,不断地挖掘自己网站的潜力,寻找到对用户有价值的独特卖点,努力实施差异化营销战略,逐渐形成自己网站的独特内容体系(独特服务体系),通过最恰当的营销方式,努力把这些营销卖点做成自己的特色,最终真正实现自己的价值。

  博友张无计说:“简单重复的成分越少的职业越有价值”,我认为,职业并不重要,唯有在简单重复工作中努力寻找到不简单重复的创意,并努力实现它,这样的创意才是真正有价值的创意,也才能真正脱颖而出。但这样的创意永远需要我们用心去寻找,它不会从天上掉下来的。

  最后就是坚持,任何营销都必须坚持才能见成效,任何行业都强调在较长的时间周期里的执行力问题。也许坚持下去许久都不见成功,但只要我们坚持,从我们成功梦想的角度来说,成功之梦仍在,我们至少还没有失败,就还存在着成功希望——永远都不要以别人的成功来衡量自己。

  总之,任凭竞争如何激烈,只要我们用心,任何行业都会存在只属于我们自己的位置。ZAC在回答“SEO(行业)是不是开始饱和了”网友提问时说:“很少有真的饱和的行业。比如开饭馆,大街上太多了,饱和了吗?真的做得好吃的,一样可以成功,哪怕是新的。

新手站长怎样找友情链接

  本人是新手,写得不好大牛不要笑。新手找链接是个比较麻烦的事情,但只要动动脑筋还是可以找到一些

  1. 首先要知己,你要了解自己的网站,也就是你的定位,你的网站的类型是什么。然后尽量去找跟你类型相近的网站做链接。这样做不仅有利于你的排名,而且浏览跟你类型相近的网站的人也许会对你的站有兴趣,那么你就无疑多一些ip了。

  2. 然后就是知彼了。也就是你要了解一些你想做链接的站的资料。比如pr是多少,baidu,google收录是否良好(site 网址,比如 site:www.365128.com ), 是不是采集而来的垃圾站。有多少外部连接(link 网址,可以到yahoo看),有多少网站连接到那个网站。还有就是看那个站的前途如何,有些站可能也跟你一样,刚起步,但是在你看来比较有前途的话,那么 你就更加要跟那些站交换链接。而且尽量找已经有很少文字链接的站。如果一站已经有了20个文字链接,那么加你的上去,你也不会得到什么好处。

  3. 当你的目标已经确定,接下来就是最关键的部分——申请友情链接。 如果你做娱乐方面的站,象我一样,你用logo链接换别人的文字链接,很多论坛愿意跟你交换。我专门找明星类的论坛,因为他们都很喜欢logo,而我当然 是喜欢文字链接了。虽然他们提出的要求都很严格,说什么注册会员要多少多少,但实际上并不是这样的。你只要投其所好,说一些赞扬他们偶像的话,说什么专辑 大卖之类的。一般都会成功。而且他们都不看你pr的,因为很多人都不知道pr是什么。如果你做的是博客,你想要一写博客的链接的,那么你也要了解博主,然 后投其所好,多说好话。比如他很想得到某样东西,而碰巧你可以满足他,那么你叫他交换个链接也很容易。如果不行,你就经常到访他的博客,然后留言。你跟他混熟了,交 换个链接也什么问题,而且跟博主做了朋友后还可以交流建站经验。人都是有感情的,所以感情有时可以帮你不少忙。还有就是可以选一些特别的日子去申请也可以 提高成功率。

  4.一般不要一次性到很多地方申请链接。有些人想一劳永逸是不行的。我一般是一次性到3,4个论坛去申请,我懒,你可以每一 次一个。这样做的好处就是要让别人知道他们站的链接在你的站上的位置不错,如果你一下子到20个站去申请,那么肯定有些链接的位置在他们看来是不大好的, 这样也会影响成功率。当你完成了一期的链接交换。那么在下一期做链接的时候,你可以适当的把你当前要交换的网站的链接排在好的位置上,以后你怎么弄都行, 因为他们是极少回访的(呵呵,而且位置的变化一定是有的嘛)但当你还没通过那个申请时一定要给别人一个好的印象。

  5. 尽量找已经跟你已有的链接做了链接的网站。比如A网站跟B网站互链了,而你已经有A的链接,那么你如果也可以跟B做链接的话就比较好。因为这样就是说很多的互链的网站链到了你的网站。那样对你有利

  6. 尽量不要加入那些什么自助链什么的。因为很容易给其他的站拖累而被K

  做什么事情都是不容易的,建站如此,找链接也是如此。没有免费的午餐,只有付出才有获得。不要怪那些pr高的站不跟你做 链接,因为如果是你的话,你也不一定愿意跟新站交换链接。饭还是要一口一口吃,特别是新手更要脚踏实地,不要整天想着一步登天。多动脑筋,多看文章,多动手,我相信很多问题都可以解决。希望我的愚见给你带来帮助

http://szs.kvov.com.cn/jzxx35882.html