تاثیر خطای کراول گوگل در سئو سایت
در مقاله تاثیر خطای کراول گوگل در سئو سایت ما شم ارا با ین خطا اشنا میکنیم و در اخر تاثیر هایی که این خطای بر سئو سایت میگذارد را به شما دوسداران سئوبلک آموزش میدهیم.
خطای کراول یا خزنده چیست؟
خطاهای خزنده – crawl errors زمانی اتفاق می‌افتند که یک موتور جستجو به دنبال صفحه‌ای از وبسایت شما می‌گردد اما موفق به یافتن آن نمی‌شود. قبل از هر چیز عمل کراولینگ (Crawling) را برایتان شفاف سازی میکنیم. کراول فرایندی است که در آن موتور جستجو از طریق یک ربات تمام صفحات وبسایت شما را از نظر می‌گذراند. موتور جستجو یک لینک به وبسایت شما پیدا می‌کند و شروع به یافتن تمامی صفحات آن می‌کند.
این ربات در بین صفحات و فهرست تمام محتواهای شما می‌خزد (واژه Crawl در فارسی به معنای خزیدن است) تا از آن در گوگل استفاده کند، بعلاوه تمام لینک‌های این صفحات را به لیست صفحاتی اضافه می‌کند که هنوز باید کراول شوند. هدف اصلی شما به عنوان دارنده یک وبسایت این است که اطمینان پیدا کنید ربات موتور جستجو می‌تواند به تمام صفحات وبسایت شما دسترسی پیدا کند. عدم موفقیت موتور جستجو در این فرایند همان چیزی است که ما از آن به نام خطاهای کراول یاد میکنیم.
هدف شما باید اطمینان یافتن از این امر باشد که هر لینک در سایت شما منجر به بارگزاری یک صفحه از سایتتان شود. شاید این امر از طریق تغییر مسیر(redirect 301) میسر شده باشد، اما صفحه‌ای که در پایان از آن لینک مشاهده می‌شود باید همیشه پاسخ مثبت – 200 از سرور بازگرداند.
گوگل خطاهای کراول را به دو گروه تقسیم می‌کند:
- خطاهای سایت: مطمئنا شما خواهان این نوع خطا نیستید
چرا که این خطا نشان می‌دهد کل سایت شما قابل کراول شدن نیست. - خطاهای URL: این خطاها نیز خوشایند نیستند
اما از آنجا که هر خطا به یک URL خاص مرتبط است مواظبت و برطرف ساختن آن نسبت به مورد قبلی ساده‌تر است.
تاثیر خطای کراول گوگل در سئو سایت
ربات ها به صورت غیر قابل اجتناب یکی از مهم ترین بخش های وبسایت شما و ترافیک کاربردی وبسایت شما را ایجاد می کنند.
اما همه ربات ها، ربات های خوب نیستند. حداقل 19% از ربات ها وبسایت ها را با اهداف شوم کراول می کنند، اهدافی مانند سرقت محتوا، پیدا کردن آسیب پذیری ها یا دزدیدن داده ها.
حتی در صورتی که تلاش آن ها ناموفق باشد، حمله های دائم از طرف این نرم افزار های خودکار، ممکن است باعث شود که ربات های گوگل نتوانند سایت شما را کراول کنند.
ربات های بد از پهنای باند سایت شما و منابع سرور مشابه با یک ربات خوب یا یک بازدید کننده عادی، استفاده می کنند.
اما، در صورتی که سرور شما تحت تاثیر وظایف خودکار و مکرر ربات های مختلف در مدت زمان طولانی قرار داشته باشد، ممکن است که ترافیک وبسایت شما کند شود. در نتیجه، سرور شما ممکن است دیگر به صفحات وبسایت شما سرویس ندهد.
در صورتی که شما ارورهای عجیب 404 یا 503 را در سرچ کنسول خودتان برای صفحه هایی دیدید که در اصل این صفحه ها سالم هستند، این احتمال وجود دارد که گوگل تلاش کرده که این صفحات را کراول کند اما سرور شما، گزارش مفقودی صفحات را به ربات ها اعلام کرده است.
این نوع ارور، تنها در زمان استفاده بیش از حد از سرور رخ می دهد
با وجود این که فعالیت ربات های خوب معمولا قابل مدیریت می باشد، اما گاهی آن ها هم می توانند به صورت بیش از اندازه از منابع سرور شما استفاده کنند. در صورتی که شما محتوای زیادی به سایت خودتان اضافه کنید، کراول شدن شدید سایت برای ایندکس کردن محتوای جدید ممکن است سرور شما را با مشکل رو به رو کند.
به صورت مشابه، ممکن است ربات های خوب نیز با یک خطا در وبسایت شما رو به رو شوند و مجبور شوند عملیاتی با هزینه منابع بسیار بالا انجام دهند و یا در یک حلقه بی نهایت گیر کنند.
برای پیشگیری از این مشکلات، بیشتر سایت ها از یک روش کش در طرف سرور استفاده می کنند که این کشینگ، یک نسخه از پیش ساخته شده از سایت آن ها را ارائه می کند و برای هر درخواست از طرف بازدید کننده یا ربات، دیگر کل صفحه را دوباره ایجاد نمی کند و این روش از نظر منابع، بسیار مقرون به صرفه می باشد. همچنین زمان بارگذاری صفحات برای بازدید کننده های واقعی نیز کاهش پیدا می کند که این موضوع برای گوگل اهمیت زیادی دارد.
بیشتر موتور جستجوهای اصلی نیز روشی را ارائه می کنند که شما می توانید با استفاده از آن، نرخ کراول سایت خودتان توسط ربات های آن موتور جستجو را مشخص کنید، تا به این صورت میزان استفاده از منابع سرور توسط ربات های خوب هم بیش از اندازه نباشد.
البته نمی توانید با این روش مشخص کنید که ربات های موتور جستجو در چه تکرار زمانی وبسایت شما را کراول می کنند، بلکه تنها می توانید سطح منابع مورد استفاده آن ها را مشخص کنید.
برای این که بتوانید این شرایط را به صورت بهینه مدیریت کنید، شما باید خطراتی که علیه شما و مدل کسب و کار خاص مشتری های شما وجود دارد را شناسایی کنید.
همچنین شما باید سیستم هایی را ایجاد کنید که بتوانند بین ترافیک یک ربات بد، ترافیک ربات خوب و فعالیت های انسانی را نسبت به یکدیگر متمایز کند. اگر این کار به صورت ضعیف انجام شود، ممکن است تاثیر فعالیت های سئو شما کاهش پیدا کند و یا حتی بازدید کننده های ارزشمند، نتوانند از سرویس شما به صورت موثر استفاده کنند.
از مطالب زیر نیز دیدن فرمایید:
