件不限于要索引的站点中存在的 URL 的简单描述。它根据我们的意愿向搜索引擎发送指令。易于构建并放置在站点的根目录中，它指示要遵循的步骤，允许您阻止特定页面和/或完整目录的索引，甚至阻止一个或多个搜索引擎，从而释放带宽并减轻负担服务器和网络，使其更适合预期目标。关于在当代优化中变得至关重要的简单文本文件的完整解释。
如何创建 robots.txt 文件
robots.txt 文件与机器人排除协议相关。我们 将第一个 robots.txt 文件归功于 Martin Koster。后者于1994年为Webcrawler工作。该方法的目的是剥 Telegram 数字数据 夺搜索引擎机器人的某些网站资源。我们不想在网络上共享的资源。因此，该文件指示不应在搜索引擎中建立索引的页面。约定是搜索引擎机器人读取的第一个文件正是名为robots.txt的文件。
为什么要有 robots.txt 文件？
使用 robots.txt 文件有两个主要原因；
- 首先，它阻止某些被认为与公共利益无关的资源向互联网提供；
- 然后，它通过避免过多的流量来减轻网络负担，从而减轻索引器和 http 服务器的工作。
在此阶段，我们已经澄清了 robots.txt 文件在任构。每个人都可以访问该文件。如果仁慈的机器人遵守文件中规定的说明，那么恶意机器人就不会这样做，它们会寻求获取个人数据。所以不要混淆 robots.txt 和安全性！
如何创建它以及将其放置在哪里？
创建它非常简单。只需在记事本上创建一个 robots.txt 文件即可。并指出您希望遵守的索引限制。只要注意三件事即可；
- 写为robots.txt，而不是ROBOTS.TXT，甚至Robots.txt；
- 永远不要忘记文件不得超过 62kb；
- 考虑将其放置在网站的根目录下，以便搜索引擎可以访问它。如果您的网站名为
预约
robots.txt 文件的基本说明的一些示例
每条指令至少构建在两行上；
- “用户代理：”行定义限制所针对的机器人；
- “允许：”或“不允许：”行允许或不允许访问目标资源。
为了尽可能简单，这里有一个必要的特定示例：
User-agent : *
Disallow :
* 取代所有机器人。因此，这里的说明针对所有机器人，无论它们是什么。如果该指令是特殊的，甚至是不协调的，那是因为“禁止：”操作 在此不禁止任何内容。这意味着不放置 robots.txt 文件。相反，如果我们写了 “Disallow：/”， 我们就会禁止网站的所有页面在搜索引擎上建立索引。这也不是期望的目标。但这让您了解 robots.txt 的工作原理是多么简单。
如何阻止整个目录或特定页面？
当您想要阻止站点的给定目录或 何情况下都不能充当安全机 特定页面时，您只需延长并指定命令行即可；
或者
ETC…
为了阻止单个机器人，指令分两部分完成；
然后
和/或
什么是通配符？
通配符是一个小丑。就像网球锦标赛一样。有些玩家获得了小丑 美国 b2b 列表 的好处，即使他们在逻辑上不合格，也可以玩游戏。在计算中，这个小丑采用元字符的形式，这是键盘上出现的一个字符，允许它取代许多其他字符。 * 是元字符，如果您愿意，也可以是通配符。 $ 也是…这些特殊字符旨在替换单词的开头或结尾。例如，如果您需要搜索所有以“Friend”开头的单词，您将询问friend*，所有这些单词都会显示出来。
通配符的一些示例
对于索引机器人的指令，您可以这样写：
拒绝对所有包含“?”的页面建立索引在他们的网址中。
如果您决定切断对特定 WordPress 目录的访问，请按照相同的方式操作：
‘$’ 更多地用于表示 URL 的结束。在这种情况下，如果您想从搜索引擎中排除具有相同结尾的所有页面，例如特定文件类型。要拒绝对 .pdf 文件建立索引，您将编写：
并且没有什么可以阻止您禁止单个搜索 引擎访问这些文件：
当然，可以在 robots.txt 文件中添加注释。如果文件由于发出的指令数量而变得相当长且复杂，则更是如此。
如何添加评论？
以最简单的方式，通过清楚地命名您想要描述的内容，注意在句子前面加上符号“#”。
所以你可以说出你采取的每一个行动。这对于长文件（但要注意不要超过 62 KB）特别有趣，以便识别不同的段落。添加评论仅具有实际和组织方面的作用。
要添加什么类型的评论？
您可以每次指定该指令针对哪个机器人，或者您正在执 行哪些目录或页面。但是，您还可以留下订单行的最后修改日期，或者任何有助于工作同事或网站上其他参与者理解的重要信息。
