Magento 2中的Robots.txt文件：优化搜索引擎爬虫指南
Robots.txt文件在Magento 2中饰演着至关主要的角色，，，，，它指示网络爬虫在那里为网站建设索引以及在那里跳过。。。。。。。通过准确设置Robots.txt文件，，，，，可以优化网站在搜索引擎中的排名和可见性。。。。。。。本文将提供有关在Magento 2中设置Robots.txt文件的详细办法，，，，，并提供一些示例和最佳实践。。。。。。。
要设置Magento 2中的Robots.txt文件，，，，，可以凭证以下办法举行操作：
办法1：登录到Magento 2的后台治理面板。。。。。。。
办法2：进入设置页面。。。。。。。
单击“Stores”（市肆）。。。。。。。
在“Settings”（设置）部分中，，，，，选择“Configuration”（设置）。。。。。。。
办法3：设置Robots.txt文件。。。。。。。
在左侧导航面板中，，，，，选择“Design”（设计）下的“General”（通用）。。。。。。。
翻开“Search Engine Robots”（搜索引擎机械人）部分。。。。。。。
办法4：选择默认Robots设置。。。。。。。
在“Default Robots”（默认机械人）下，，，，，可以选择以下选项之一：
索引、关注（Index, Follow）：允许搜索引擎索引和跟踪网站。。。。。。。
NOINDEX，，，，，关注（NOINDEX, Follow）：不允许搜索引擎索引网站，，，，，但允许跟踪。。。。。。。
索引、不关注（Index, No Follow）：允许搜索引擎索引网站，，，，，但不允许跟踪。。。。。。。
NOINDEX、NOFOLLOW：不允许搜索引擎索引和跟踪网站。。。。。。。
办法5：添加自界说Robots说明（可�。。。。。。。�。。。。。。。
若是需要自界说Robots.txt文件的说明，，，，，可以在“Edit Custom instruction of robots.txt File”（编辑自界说Robots.txt文件说明）字段中输入自界说规则。。。。。。。
办法6：恢复默认设置（可�。。。。。。。�。。。。。。。
若是需要恢复为默认Robots.txt说明，，，，，可以在“Reset to Defaults”（恢复默认设置）字段中单击按钮。。。。。。。
办法7：生涯设置。。。。。。。
单击“Save Config”（生涯设置）以生涯更改。。。。。。。
以下是一些常见的Magento 2 Robots.txt示例，，，，，以及它们的作用：
允许完全会见：
makefile
Copy code
User-agent: *
Disallow:
榨取会见所有文件夹：
makefile
Copy code
User-agent: *
Disallow: /
上述示例中，，，，，User-agent指示搜索引擎机械人，，，，，*体现适用于所有机械人。。。。。。。Disallow指示机械人不允许会见的页面或文件夹。。。。。。。
Magento 2默认的Robots.txt文件包括了一些常见的设置，，，，，以资助优化搜索引擎爬虫的行为。。。。。。。以下是默认Robots.txt文件的示例设置：
makefile
Copy code
Disallow: /lib/
Disallow: /*.php$
Disallow: /pkginfo/
Disallow: /report/
Disallow: /var/
Disallow: /catalog/
Disallow: /customer/
Disallow: /sendfriend/
Disallow: /review/
Disallow: /*SID=
Disallow: /*?
# Disable checkout & customer account
Disallow: /checkout/
Disallow: /onestepcheckout/
Disallow: /customer/
Disallow: /customer/account/
Disallow: /customer/account/login/
# Disable Search pages
Disallow: /catalogsearch/
Disallow: /catalog/product_compare/
Disallow: /catalog/category/view/
Disallow: /catalog/product/view/
# Disable common folders
Disallow: /app/
Disallow: /bin/
Disallow: /dev/
Disallow: /lib/
Disallow: /phpserver/
Disallow: /pub/
# Disable Tag & Review (Avoid duplicate content)
Disallow: /tag/
Disallow: /review/
# Common files
Disallow: /composer.json
Disallow: /composer.lock
Disallow: /CONTRIBUTING.md
Disallow: /CONTRIBUTOR_LICENSE_AGREEMENT.html
Disallow: /COPYING.txt
Disallow: /Gruntfile.js
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /nginx.conf.sample
Disallow: /package.json
Disallow: /php.ini.sample
Disallow: /RELEASE_NOTES.txt
# Disable sorting (Avoid duplicate content)
Disallow: /*?*product_list_mode=
Disallow: /*?*product_list_order=
Disallow: /*?*product_list_limit=
Disallow: /*?*product_list_dir=
# Disable version control folders and others
Disallow: /*.git
Disallow: /*.CVS
Disallow: /*.Zip$
Disallow: /*.Svn$
Disallow: /*.Idea$
Disallow: /*.Sql$
Disallow: /*.Tgz$
这些设置通常有助于避免搜索引擎爬虫会见某些不须要的或敏感的页面，，，，，从而提高了网站的清静性和性能。。。。。。。
总结：
在Magento 2中，，，，，Robots.txt文件是一个主要的工具，，，，，可以资助控制搜索引擎机械人的行为，，，，，优化网站在搜索效果中的体现。。。。。。。通过凭证上述办法设置Robots.txt文件，，，，，并凭证需求自界说设置，，，，，可以更好地治理和指导搜索引擎爬虫，，，，，以提高网站的可见性和排名。。。。。。。