ارور submitted url blocked by robotstxt

اطراحی سایت با بوت استرپ

ارور submitted url blocked by robotstxt

سلام خیلی خوش امدید به مهراکت در این مطلب قصد داریم راجب موضوع ها ی ارور submitted url blocked by robotstxt ونمونه اشتباه robots.txt برای وردپرس و گزارش Index Coverage و صحبت کنیم تا انتها با مهراکت همراه باشید.

عموماً طیف وسیعی از کاربران در معرفی و ایندکس کردن محتوای سایت و یا محدودکردن سطح دسترسی ربات های موتورهای جستجوگر و یا خزنده ها – Crawler به بخشهای مختلف سایت خود دچار مشکلاتی هستند.
یکی از شایعترین خطاها مشکل  Sitemap contains urls which are blocked by robots.txt می باشد
.که به علت

وقوع آن در سیستم مدیریت محتوای قدرتمند وردپرس خواهیم پرداخت.

عنوان و توضیحات خطا کاملا مشخص و واضح هست
که اصلا هیچ ارتباطی به خودِ گوگل ندارد!

در فایل robot.txt  وردپرس یک سری دسترسیهای خودکار میتوانید
برای ربات ها و خزنده های موتورهای جستجوگر بالاخص گوگل مشخص و تعریف نمایید.
اگر سایت شما خطای فوق را دارد .
به معنی ست که در حال حاضر در این فایل مجوزهای دسترسی به درستی تعریف نشده
و یا اساساً خودتان این دسترسی ها را محدود کرده اید.

گزارش Index Coverage

با مراجعه به وب‌سایت کنسول جستجو از طریق این لینک به‌طور پیش‌فرض وارد قسمت Overview خواهید شد. برای مشاهده و بررسی خطاها باید از طریق منوی جانبی کنسول جستجو، عنوان Coverage را انتخاب کنید. حالا در سمت راست، گزارش وضعیت ایندکس شدن صفحات سایتتان را مشاهده می‌کنید. درواقع، اینجا همان‌جایی است که می‌توانید در آن همه مشکلات عمدتاً فنی که احتمالاً مانع کسب رتبه‌های بهتر در نتایج جستجو می‌شوند را مشاهده کنید. قسمت بالای این گزارش به شکل نمودار نمایش داده می‌شود. در بالای نمودار چهار مستطیل کوچک قرار دارد که به‌طور پیش‌فرض، اولی به رنگ قرمز است. درواقع، رنگی بودن هر یک از این مستطیل‌ها به معنی فعال بودنش و نمایش گزارش نموداری آن در نمودار ستونی زیرش است.
ارور submitted url blocked by robotstxt
چهار مستطیلی که در این قسمت مشاهده می‌کنید به ترتیب عبارت‌اند از:
• Error (خطا): این‌ها صفحاتی هستند که به دلیل وجود مشکل یا مشکلاتی ایندکس نشده‌اند.
• Valid with warnings (معتبر با هشدار): این‌ها صفحاتی هستند که اگرچه ایندکس شده‌اند، اما ایراد یا مسئله‌ای در آن‌ها شناسایی شده که گوگل نسبت به صحت تشخیص خود یا عمدی یا غیرعمدی بودن مشکل مزبور اطمینان ندارد.
• Valid (معتبر): این صفحات مشکلی ندارند و لذا با موفقیت ایندکس شده‌اند.
• Excluded (مستثنا شده): این‌ها صفحاتی هستند که ظاهراً خودتان آن‌ها را از ایندکس شدن مستثنا کرده‌اید. طبیعتاً این صفحات در نتایج جستجو ظاهر نخواهند شد.

نمونه اشتباه robots.txt برای وردپرس

همان‌طور که در عکس زیر می‌بینید وقتی من رفتم و فایل robots.txt را چک کردم متوجه شدم که در همان ابتدا دسترسی گوگل به‌کل وب‌سایت بسته‌شده است و باعث شده تا سایت ایشان از نتایج گوگل کاملاً محو شود.

مشکل این فایل در خط ۲ و ۳ و ۵  در عکس زیر قابل مشاهده است.

ارور submitted url blocked by robotstxt

خط دوم در عکس بالا به یعنی اینکه تمام ربات ها و خزنده های موتور های جست و جو حتما باید دستور بعدی را انجام دهند

خط سوم در عکس بالا هم که همان دستور بعدی است یعنی: “دسترسی به همه جا بسته است”

خط پنجم دسترسی به فولدر wp-admin را می بندد و تاثیر خطرناکی ندارد اما نباشد بهتر است چون یک فایل در این فولدر وجود دارد که گوگل به آن نیاز پیدا میکند.

برای رفع مشکل چه باید کرد؟

دو کار باید بلافاصله انجام شود:

  1. حذف دستورات اضافه در فایل robots.txt که باعث بسته شدن دسترسی گوگل به سایت شما می‌شود
  2. درخواست ایندکس کردن مجدد کل سایت از گوگل

در مرحله اول باید دسترسی گوگل به سایت را باز کنیم :حتی من پیشنهاد دادم تا فایل robots.txt را به طور کامل حذف کنند تا خیالشان راحت شود.

ممنون از این که ما را همراهی میکنید

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد.

مطالب مشابه

خرید کلمات کلیدی از گوگل x بخوانید...