این ابزار چه کاری انجام می‌دهد
این ابزار فایل robots.txt می‌سازد؛ فایل متنی کوچکی در ریشه‌ی هر وب‌سایت که به خزنده‌هایی مثل Googlebot و Bingbot می‌گوید به کدام بخش‌ها سر بزنند. شما تعیین می‌کنید سایت برای خزش باز باشد یا نه، پوشه‌ها یا الگوهای URL که باید مسدود شوند را فهرست می‌کنید، استثناها را اضافه می‌کنید و آدرس sitemap (نقشه‌ی سایت XML) را می‌آورید تا موتورهای جستجو همه‌ی صفحه‌های شما را پیدا کنند.
الگوهای آماده برای وردپرس و فروشگاه‌های اینترنتی قواعد رایج را پر می‌کنند؛ مثلاً مسدود کردن بخش مدیریت در حالی که admin-ajax.php در دسترس می‌ماند، یا بیرون نگه داشتن آدرس‌های سبد خرید، تسویه‌حساب و فیلترها از خزش. یک گزینه‌ی اختیاری هم قواعدی برای خزنده‌هایی اضافه می‌کند که شرکت‌های هوش مصنوعی برای جمع‌آوری داده‌ی آموزشی یا جستجوی مبتنی بر هوش مصنوعی به کار می‌برند، مثل GPTBot، ClaudeBot، Google-Extended و CCBot.
فایل در مرورگر شما ساخته می‌شود و می‌توانید آن را کپی کنید یا با نام robots.txt دانلود کنید؛ آماده برای بارگذاری.
چه زمانی به کار می‌آید
سایت‌های تازه
از همان روز اول یک robots.txt تمیز همراه با sitemap منتشر کنید تا موتورهای جستجو صفحه‌هایتان را زودتر پیدا کنند.
وردپرس و فروشگاه‌ها
نگذارید صفحه‌های مدیریت، سبد خرید، تسویه‌حساب و فیلتر بودجه‌ی خزش (crawl budget) را هدر بدهند.
سایت‌های آزمایشی و staging
نسخه‌ی در حال توسعه را کامل مسدود کنید تا با سایت اصلی‌تان رقابت نکند.
جلوگیری از استفاده‌ی هوش مصنوعی
به خزنده‌های هوش مصنوعی که robots.txt را رعایت می‌کنند بگویید از محتوای شما استفاده نکنند.
نکته‌هایی برای بهترین نتیجه
- هیچ‌وقت پوشه‌های CSS و جاوااسکریپت را مسدود نکنید؛ گوگل برای رندر و فهم صفحه‌ها به آن‌ها نیاز دارد.
- مسیرها به حروف بزرگ و کوچک حساس‌اند و از ابتدا تطبیق داده می‌شوند: «/admin» مسیر «/administrator» را هم مسدود می‌کند. انتهای نام پوشه‌ها اسلش بگذارید.
- از * به‌عنوان نویسه‌ی جایگزین (wildcard) و از $ برای انتهای URL استفاده کنید؛ مثلاً «/*.pdf$» همه‌ی فایل‌های PDF را مسدود می‌کند.
- robots.txt عمومی است. پوشه‌های محرمانه را در آن فهرست نکنید؛ به‌جای آن با رمز عبور از آن‌ها محافظت کنید.
- بعد از بارگذاری، فایل را در Google Search Console در بخش تنظیمات › robots.txt بررسی کنید.
ساخت فایل robots.txt چطور کار می‌کند
ابزار یک گروه برای همه‌ی خزنده‌ها (User-agent: *) با خطوط Allow و Disallow می‌نویسد، در قالبی که پروتکل Robots Exclusion Protocol (RFC 9309) تعریف کرده و گوگل، بینگ و دیگر موتورهای جستجوی بزرگ از آن پیروی می‌کنند. به مسیرهایی که با اسلش شروع نشده‌اند خودکار یک اسلش اضافه می‌شود.
اگر خزنده‌های هوش مصنوعی را مسدود کنید، گروه دومی user agentهای آن‌ها را با «Disallow: /» فهرست می‌کند. هر خزنده از دقیق‌ترین گروهی پیروی می‌کند که با نامش جور باشد، پس موتورهای جستجو تحت تأثیر قرار نمی‌گیرند. خطوط Sitemap در انتهای فایل می‌آیند و می‌توانند به چند sitemap اشاره کنند.
Crawl-delay فقط وقتی اضافه می‌شود که مقداری برایش وارد کنید؛ گوگل آن را نادیده می‌گیرد، اما بینگ و برخی خزنده‌های دیگر رعایتش می‌کنند.