件不限于要索引的站点中存在的 URL 的简单描述。它根据我们的意愿向搜索引擎发送指令。易于构建并放置在站点的根目录中,它指示要遵循的步骤,允许您阻止特定页面和/或完整目录的索引,甚至阻止一个或多个搜索引擎,从而释放带宽并减轻负担服务器和网络,使其更适合预期目标。关于在当代优化中变得至关重要的简单文本文件的完整解释。
如何创建 robots.txt 文件
robots.txt 文件与机器人排除协议相关。我们 将第一个 robots.txt 文件归功于 Martin Koster。后者于1994年为Webcrawler工作。该方法的目的是剥 Telegram 数字数据 夺搜索引擎机器人的某些网站资源。我们不想在网络上共享的资源。因此,该文件指示不应在搜索引擎中建立索引的页面。约定是搜索引擎机器人读取的第一个文件正是名为robots.txt的文件。
为什么要有 robots.txt 文件?
使用 robots.txt 文件有两个主要原因;
- 首先,它阻止某些被认为与公共利益无关的资源向互联网提供;
- 然后,它通过避免过多的流量来减轻网络负担,从而减轻索引器和 http 服务器的工作。
在此阶段,我们已经澄清了 robots.txt 文件在任构。每个人都可以访问该文件。如果仁慈的机器人遵守文件中规定的说明,那么恶意机器人就不会这样做,它们会寻求获取个人数据。所以不要混淆 robots.txt 和安全性!
如何创建它以及将其放置在哪里?
创建它非常简单。只需在记事本上创建一个 robots.txt 文件即可。并指出您希望遵守的索引限制。只要注意三件事即可;
- 写为robots.txt,而不是ROBOTS.TXT,甚至Robots.txt;
- 永远不要忘记文件不得超过 62kb;
- 考虑将其放置在网站的根目录下,以便搜索引擎可以访问它。如果您的网站名为
预约
robots.txt 文件的基本说明的一些示例
每条指令至少构建在两行上;
- “用户代理:”行定义限制所针对的机器人;
- “允许:”或“不允许:”行允许或不允许访问目标资源。
为了尽可能简单,这里有一个必要的特定示例:
* 取代所有机器人。因此,这里的说明针对所有机器人,无论它们是什么。如果该指令是特殊的,甚至是不协调的,那是因为“禁止:”操作 在此不禁止任何内容。这意味着不放置 robots.txt 文件。相反,如果我们写了 “Disallow:/”, 我们就会禁止网站的所有页面在搜索引擎上建立索引。这也不是期望的目标。但这让您了解 robots.txt 的工作原理是多么简单。
如何阻止整个目录或特定页面?
当您想要阻止站点的给定目录或 何情况下都不能充当安全机 特定页面时,您只需延长并指定命令行即可;
或者
ETC…
为了阻止单个机器人,指令分两部分完成;
然后
和/或
什么是通配符?
通配符是一个小丑。就像网球锦标赛一样。有些玩家获得了小丑 美国 b2b 列表 的好处,即使他们在逻辑上不合格,也可以玩游戏。在计算中,这个小丑采用元字符的形式,这是键盘上出现的一个字符,允许它取代许多其他字符。 * 是元字符,如果您愿意,也可以是通配符。 $ 也是…这些特殊字符旨在替换单词的开头或结尾。例如,如果您需要搜索所有以“Friend”开头的单词,您将询问friend*,所有这些单词都会显示出来。
通配符的一些示例
对于索引机器人的指令,您可以这样写:
拒绝对所有包含“?”的页面建立索引在他们的网址中。
如果您决定切断对特定 WordPress 目录的访问,请按照相同的方式操作:
‘$’ 更多地用于表示 URL 的结束。在这种情况下,如果您想从搜索引擎中排除具有相同结尾的所有页面,例如特定文件类型。要拒绝对 .pdf 文件建立索引,您将编写:
并且没有什么可以阻止您禁止单个搜索 引擎访问这些文件:
当然,可以在 robots.txt 文件中添加注释。如果文件由于发出的指令数量而变得相当长且复杂,则更是如此。
如何添加评论?
以最简单的方式,通过清楚地命名您想要描述的内容,注意在句子前面加上符号“#”。
所以你可以说出你采取的每一个行动。这对于长文件(但要注意不要超过 62 KB)特别有趣,以便识别不同的段落。添加评论仅具有实际和组织方面的作用。
要添加什么类型的评论?
您可以每次指定该指令针对哪个机器人,或者您正在执 行哪些目录或页面。但是,您还可以留下订单行的最后修改日期,或者任何有助于工作同事或网站上其他参与者理解的重要信息。