ارور submitted url blocked by robotstxt
سلام خیلی خوش امدید به مهراکت در این مطلب قصد داریم راجب موضوع ها ی ارور submitted url blocked by robotstxt ونمونه اشتباه robots.txt برای وردپرس و گزارش Index Coverage و صحبت کنیم تا انتها با مهراکت همراه باشید.
عموماً طیف وسیعی از کاربران در معرفی و ایندکس کردن محتوای سایت و یا محدودکردن سطح دسترسی ربات های موتورهای جستجوگر و یا خزنده ها – Crawler به بخشهای مختلف سایت خود دچار مشکلاتی هستند.
یکی از شایعترین خطاها مشکل Sitemap contains urls which are blocked by robots.txt می باشد
.که به علت
وقوع آن در سیستم مدیریت محتوای قدرتمند وردپرس خواهیم پرداخت.
عنوان و توضیحات خطا کاملا مشخص و واضح هست
که اصلا هیچ ارتباطی به خودِ گوگل ندارد!
در فایل robot.txt وردپرس یک سری دسترسیهای خودکار میتوانید
برای ربات ها و خزنده های موتورهای جستجوگر بالاخص گوگل مشخص و تعریف نمایید.
اگر سایت شما خطای فوق را دارد .
به معنی ست که در حال حاضر در این فایل مجوزهای دسترسی به درستی تعریف نشده
و یا اساساً خودتان این دسترسی ها را محدود کرده اید.
گزارش Index Coverage
محل ذخیره robots.txt کجا است؟
این فایل در root سایت شما قرار می گیرد. یا به عبارت دیگر داخل فولدر public-html در قسمت مدیریت فایل ها در کنترل پنلی که هاستینگ به شما خواهد داد.
خط دوم در عکس بالا به یعنی اینکه تمام ربات ها و خزنده های موتور های جست و جو حتما باید دستور بعدی را انجام دهند
خط سوم در عکس بالا هم که همان دستور بعدی است یعنی: “دسترسی به همه جا بسته است”
خط پنجم دسترسی به فولدر wp-admin را می بندد و تاثیر خطرناکی ندارد اما نباشد بهتر است چون یک فایل در این فولدر وجود دارد که گوگل به آن نیاز پیدا میکند.
برای رفع مشکل چه باید کرد؟
دو کار باید بلافاصله انجام شود:
- حذف دستورات اضافه در فایل robots.txt که باعث بسته شدن دسترسی گوگل به سایت شما می‌شود
- درخواست ایندکس کردن مجدد کل سایت از گوگل
در مرحله اول باید دسترسی گوگل به سایت را باز کنیم :حتی من پیشنهاد دادم تا فایل robots.txt را به طور کامل حذف کنند تا خیالشان راحت شود.
ممنون از این که ما را همراهی میکنید
