robots.txt؛ کنترل خزش بدون حذف اشتباه صفحه

کاربرد robots.txt، تفاوت آن با noindex و خطاهای مسدودسازی را با مثال و چک‌لیست بررسی کنید؛ پیش از تغییر، اثر قانون را روی URLهای واقعی بسنجید.

robots.txt؛ کنترل خزش بدون حذف اشتباه صفحه

فایل robots.txt برای مدیریت دسترسی خزنده به نشانی‌های سایت است؛ ابزار حفاظت از اطلاعات محرمانه یا روش قطعی حذف یک صفحه از نتایج گوگل نیست. هدف را پیش از تغییر مشخص کنید. یک قانون کوتاه می‌تواند مسیرهای زیادی را ببندد و اگر روی بخش اشتباه اعمال شود، هم محتوای مهم و هم منابع لازم برای نمایش آن را از دسترس خزنده خارج می‌کند.

از چه چیزی می‌خواهید جلوگیری کنید؟

فرض کنید فروشگاه هزاران حالت مرتب‌سازی ساخته و خزنده مرتب به آن‌ها سر می‌زند؛ مسئلهٔ شما کنترل خزش است، نه پنهان‌کردن اطلاعات مشتری یا حذف یک مقالهٔ قدیمی از نتایج. این مثال فرضی است. برای اطلاعات خصوصی به کنترل دسترسی نیاز دارید؛ برای منع ایندکس، باید ابزار و شرایط همان کار را بررسی کنید.

راهنمای گوگل توضیح می‌دهد URL مسدودشده ممکن است از طریق لینک‌ها شناخته شود و بدون دریافت محتوایش در نتایج دیده شود؛ بنابراین Disallow را نباید معادل «این صفحه از گوگل پاک شد» گزارش کرد. این تفاوت کوچک نیست. اگر تصمیم واقعی، حذف از جست‌وجو باشد، ابتدا راهنمای کنونیکال و نوایندکس را کنار هدف تغییر قرار دهید.

فایل واقعی را پیدا کنید، نه فقط تنظیم داخل افزونه

آیا تغییری که در افزونه ذخیره کردید در خروجی عمومی هم دیده می‌شود؟ همین را آزمایش کنید. وردپرس ممکن است خروجی مجازی داشته باشد یا یک فایل واقعی روی سرور آن را کنار بزند؛ لایهٔ کش هم گاهی باعث می‌شود مدیر نسخه‌ای متفاوت از بازدیدکننده دریافت کند.

  • نشانی عمومی robots.txt همان میزبان و پروتکل را باز کنید.
  • پاسخ باید فایل متنی قابل دریافت باشد، نه صفحهٔ ورود یا خطای HTML.
  • نسخهٔ پیش از تغییر و دلیل هر قانون را نگه دارید.
  • اگر چند زیردامنه دارید، سیاست هرکدام را جدا بررسی کنید.

یک قانون را روی چند نمونه بخوانید

در نمونهٔ آموزشی زیر، قانون برای خزنده‌های پیرو آن گروه، مسیر مشخصی را می‌بندد؛ نام مسیر فرضی است و نمونه نباید بدون بررسی روی سایت واقعی کپی شود. دامنهٔ تطبیق را بسنجید. پیش از انتشار، یک URL داخل مسیر و یک URL مهم خارج از آن را آزمایش کنید تا نتیجه با قصد شما هماهنگ باشد.

User-agent: *
Disallow: /temporary-preview/
Sitemap: https://example.com/sitemap.xml

وجود Sitemap در این فایل، اجازهٔ دسترسی یا تضمین ایندکس ایجاد نمی‌کند؛ فقط محل فایل نقشه را معرفی می‌کند و مقصد معرفی‌شده باید خودش قابل دریافت و معتبر باشد. نقش‌ها را جدا نگه دارید. مقالهٔ سایت‌مپ XML توضیح می‌دهد چه URLهایی اصلاً ارزش معرفی دارند.

خطاهایی که پشت یک تغییر ظاهراً ساده پنهان می‌شوند

پیش از ذخیرهٔ قانون، پیامد آن را بررسی کنید
تصمیم اشتباه پیامد محتمل کنترل پیشنهادی
بستن همهٔ سایت برای آزمایش و فراموشی آن عدم دسترسی خزنده به صفحات عمومی کنترل جداگانهٔ خروجی محیط عمومی هنگام انتشار
بستن پوشهٔ منابع ضروری رندر ناقص صفحه دیدن محتوای رندرشده و منابع وابسته
استفاده برای حفظ محرمانگی باقی‌ماندن امکان دسترسی مستقیم اجرای احراز هویت و کنترل دسترسی مناسب
بستن صفحه پیش از خواندن noindex نرسیدن دستور به خزنده هماهنگی سیاست خزش و ایندکس

منابع جاوااسکریپت و CSS را بی‌دلیل نبندید

اگر متن خدمت پس از دریافت یک فایل جاوااسکریپت ساخته می‌شود، مسدودکردن همان فایل ممکن است نمایش صفحه را برای خزنده ناقص کند؛ صرف سبک‌شدن تعداد درخواست‌ها معیار موفقیت نیست. خروجی قابل فهم مهم است. در راهنمای سئو جاوااسکریپت، تفاوت HTML اولیه و محتوای رندرشده را با مسیر تشخیص می‌بینید.

وقتی الگوی فیلترها مسئله است، از یک دستور عمومی برای همهٔ پارامترها شروع نکنید؛ برخی نشانی‌های پارامتری ممکن است مقصد مفید، صفحه‌بندی یا دادهٔ موردنیاز کاربر باشند. نمونه‌ها را دسته‌بندی کنید. سیاست صفحات فیلتر فروشگاه باید پیش از انتخاب الگوی مسدودسازی روشن باشد.

تغییر را با شواهد تحویل بگیرید

  1. هدف و URLهای نمونه را ثبت کنید.
  2. قانون محدود و قابل توضیح بنویسید.
  3. اثر آن را روی مسیر هدف و استثناها کنترل کنید.
  4. فایل عمومی و وضعیت دسترسی صفحه را دوباره ببینید.
  5. پس از فرصت پردازش، تغییر رفتار خزش را با دادهٔ مناسب پیگیری کنید.

برای پروژهٔ بزرگ، گزارش اصلاح سئو تکنیکال باید نشان دهد چه چیزی بسته شده، چرا بسته شده و چه صفحات مهمی همچنان قابل دسترسی‌اند؛ فهرست قوانین بدون نمونهٔ آزمایش، تحویل کاملی نیست. مسئول تغییر را مشخص کنید. این مستند کوتاه جلوی بازشدن و بسته‌شدن بی‌دلیل مسیرها در ماه‌های بعد را می‌گیرد.

منابع و مطالعهٔ بیشتر

در robots.txt سایت شما کدام قانون دلیل روشنی ندارد؟ الگوی مسیر را بدون نشانی محرمانه در دیدگاه‌ها بنویسید و بگویید هدف، کنترل خزش است یا حذف از نتایج؛ پاسخ این دو یکسان نیست.

نویسنده مقاله

این مقاله توسط تیم سئو تهران تهیه و بازبینی شده است تا محتوایی کاربردی، قابل اعتماد و متناسب با نیاز کاربران ارائه شود.

دیدگاه‌ها

پرسش یا تجربهٔ شما می‌تواند به ادامهٔ این بحث کمک کند.

تجربه یا سؤال شما چیست؟

ایمیل شما منتشر نمی‌شود. اطلاعات محرمانهٔ پروژه یا حساب‌ها را در دیدگاه ننویسید. فیلدهای ستاره‌دار الزامی‌اند.

☎ 021-91018037 ✈ تلگرام ☘ واتساپ