چگونه یک فایل Robots.txt حاوی موقعیت نقشه سایت ایجاد کنیم؟

در ادامه سه مرحله آسان برای ساخت یک فایل robots.txt حاوی موقعیت نقشه سایت را برایتان شرح می‌دهیم:

مرحله اول: تعیین URL سایت مپ

URL مربوط به نقشه سایت (سایت مپ) بیشتر چنین شکلی دارد:

https://www.example.com/sitemap.xml

بنابراین کافی است این URL را در نوار آدرس مرورگر خود بنویسید
و بجای عبارت example، آدرس دامنه سایتتان را وارد کنید.همچنین می‌توانید
محل سایت مپ خود را به کمک جستجوی گوگل و استفاده از موتورهای جستجو همانند اشکال زیر تعیین کنید:

site:example.com filetype:xml
و یا
filetype:xml site:example.com inurl:sitemap

اما این روش فقط در صورتی جواب می‌دهد که سایت شما از قبل توسط گوگل بررسی و ایندکس شده باشد.
اگر هیچ نقشه سایتی در سایت خود پیدا نکردید، می‌توانید خودتان با استفاده از ابزار ساخت نقشه سایت،
یا دنبال کردن روش توضیح داده‌شده در Sitemaps.org یک نقشه سایت ایجاد کنید.

مرحله دوم: پیدا کردن فایل Robots.txt

برای شناسایی اینکه آیا سایت شما فایل robots.txt دارد یا خیر، می‌توانید
عبارت example.com/robots.txt را تایپ کنید. با انجام این کار، با 3 موقعیت روبرو خواهید شد:

• به فایل txt را مشاهده می کنید.
• به یک فایل خالی (بدون محتوا) دسترسی پیدا می‌کنید.
• با ارور 404 مواجه خواهید شد.

چنانچه با یک فایل خالی یا ارور 404 مواجه شدید، زمان آن است که فایل خود را بسازید.

مرحله سوم: اضافه کردن موقعیت نقشه سایت به فایل robots.txt

اکنون فایل robots.txt سایت خود بازکنید. برای آسان پیدا کردن خودکار نقشه سایت شما از طریق robots.txt،
تمام‌کاری که باید انجام دهید این است که همانند شکل زیر یک دستور را همراه با URL موردنظر به فایل robots.txt اضافه کنید:

Sitemap: https://www.example.com/sitemap.xml

درنتیجه فایل robots.txt به این شکل خواهد بود:

Sitemap: https://www.example.com/sitemap.xml
* :User-agent
:Disallow

نکته: دستوری که حاوی موقعیت نقشه سایت است را می‌توانید در هر جای فایل robots.txt قرار دهید.
این دستور از خط دستور user-agent مستقل است، درنتیجه تفاوت چندانی ندارد کجا قرار بگیرد.

با توجه به این‌که هر Sitemaps نمی‌تواند بیش از ۵۰۰۰ URL داشته باشد.
پس در مورد سایت‌های بزرگ‌تر که URL های فراوانی دارد، می‌توانید چند فایل Sitemaps بسازید.
باید موقعیت این چند فایل سایت مپ را در یک فایل فهرست نقشه سایت بگذارید.
فرمت XML فایل sitemap index مشابه فایل نقشه سایت است، یعنی درواقع یک نقشه سایت مربوط به نقشه‌های سایت است.
وقتی چند نقشه سایت دارید، می‌توانید URL مربوط به فایل فهرست نقشه‌های سایت را همانند مثال زیر در فایل robots.txt قرار دهید:

Sitemap: https://www.example.com/sitemap_index.xml
* :User-agent
Disallow

و یا می‌توانید تک‌تک URL های چند فایل نقشه سایتی که دارید را مشخص کنید، همانند شکل زیر:

Sitemap: https://www.example.com/sitemap_host1.xml
Sitemap: https://www.example.com/sitemap_host2.xml
* :User-agent
Disallow

به‌طورکلی توصیه می‌شود که همیشه دستور فرعی ‘Sitemap’ را در کنار URL نقشه سایت در فایل robots.txt قرار دهید.
اما در برخی موارد مشاهده‌شده است که این کار باعث بروز خطاهایی می‌شود.
می‌توانید حدود یک هفته بعدازاینکه فایل robots.txt را به‌روزرسانی کردید
و موقعیت نقشه سایت را در آن قراردادید، برای بررسی وجود چنین خطاهایی از ابزار سرچ کنسول گوگل استفاده کنید.

برای جلوگیری از بروز این خطا، توصیه می‌شود که بعد از URL نقشه سایت یک خط را خالی بگذارید.

چطور یک فایل Robots.txt در وردپرس ایجاد کنیم؟

دو راه برای ساخت و ویرایش فایل Robots.txt در وردپرس وجود دارد که به‌دلخواه، هرکدام را که می‌خواهید می‌توانید انتخاب کنید.

روش اول: ساخت و ویرایش فایل Robots.txt توسط افزونه Yoast SEO

اگر از افزونه Yoast SEO استفاده می‌کنید، پس می‌توانید از تولیدکننده فایل Robots.txt این افزونه نیز استفاده کنید.
شما می‌توانید با استفاده از ادیتور Robotx.txt این افزونه، فایل Robots.txt برای سایت خود ایجاد کرده و آن را ویرایش کنید.
کافی است از قسمت پیشخوان وردپرس وارد بخش سئو > ابزارها شوید و بر روی ویرایشگر فایل کلیک کنید
این ابزار به شما این امکان را می‌دهد که به‌سرعت پرونده‌های مهم سئو مانند فایل robots.txt و.htaccess را به‌سادگی تغییر دهید.

در این صفحه افزونه Yoast SEO فایل فعلی Robots.txt شمارا نمایش می‌دهد.
درصورتی‌که فایل Robots.txt ندارید، می‌توانید به کمک افزونه یوست سئو آن را ایجاد کنید.

حالا می‌توانید دستورات مختص خود را در فایل جایگزین کنید. و سپس بر روی ذخیره تنظیمات کلیک کنید.

روش دوم: ویرایش فایل Robots.txt به‌صورت دستی با استفاده از FTP

در این روش شما نیاز به یک سرویس‌گیرنده FTP برای ویرایش فایل Robots.txt دارید.
به هاست وردپرس سایت خود با استفاده از یک گیرنده FTP متصل شوید.طبق تصویری که مشاهده می‌کنید،
شما می‌توانید فایل Robots.txt را در ریشه سایت خود مشاهده کنید.

اگر شما فایلی بانام Robots.txt مشاهده نمی‌کنید، به این معناست که سایت شما آن فایل را ندارد.
اما نگران نباشید، خیلی ساده یک فایل ایجاد کنید و نام آن را robots.txt قرار دهید.

فایل Robots.txt یک فایل متنی ساده است. این جمله بدین معناست که شما می‌توانید
فایل Robots.txt سایت خود را دانلود کرده و آن را در کامپیوتر شخصی خود با استفاده از نرم‌افزارهای ویرایشگر،
ویرایش کنید و پس از اعمال تغییرات، مجدداً آن را در ریشه‌هاست سایت خود آپلود کنید.

آزمایش فایل robots.txt در بخش robots.txt tester سرچ کنسول گوگل

حال که فایل robots.txt خود را ایجاد کرده‌اید، زمان آن است که از درستی عملکرد آن اطمینان یابید.
گوگل در ابزار سرچ کنسول، ابزاری رایگان به نام robots.txt tester را در دسترس وب‌مسترها قرار داده است.
برای آزمایش فایل خود ابتدا وارد اکانت کنسول جستجوی خود شوید.

سایت موردنظر خود را انتخاب کنید و از منوی سایدبار بر روی گزینه Crawl کلیک کنید.

پس از باز شدن کشوی Crawl، ابزار robots.txt tester را مشاهده می‌کنید. بر روی آن کلیک کنید.

اگر به‌طور پیش‌فرض، دستوری در باکس موردنظر وجود دارد، آن را پاک‌کرده و دستورات جدید را وارد نمایید.

درنهایت، پس از واردکردن دستورات، بر روی گزینه Test که در پایین صفحه در سمت راست قرار دارد، کلیک کنید.
اگر نوشته دکمه از Test به Allowed تغییر یافت به این معنی است که فایل robots.txt شما معتبر است.