ساخت robottxt

ساخت robottxt

سلام دوستان به سئوبلک خوش آمدید .امروز را با آشنایی در زمینه ابزارهای مدیریت اینستاگرام صحبت می کنیم.

ساخت robottxt

فایل robots.txt چیست؟

فایل robots.txt یک فایل متنی است که  به موتورهای جستجو اعلام میکند
که کدام قسمت های وب سایت برای موتورهای جستجو قابل دسترس است
و کدام قسمت ها نیست.به عبارت دیگر فایل robots.txt زمانی استفاده میشود
که شخص نمیخواهد صفحات، فایل ها و یا فولدرهایی از سایتش توسط موتورهای جستجو ایندکس و بررسی شود.

فایل robots.txt یک فایل متنی ساده است که در ریشه سایت یعنی در فولدر wwwroot و یا public_html قرار خواهد گرفت
به صورتی که از طریق لینک زیر قابل مشاهده باشد:

https://www.yoursite/robots.txt

این فایل را میتوان با هر ویرایشگری ایجاد و با فرمت txt ذخیره نمود.

استفاده از این فایل ضروری نیست ولی با توجه به اینکه اکثر ربات های جستجوگر این فایل را از سرور شما درخواست میکنند،
بهتر است یک فایل خالی با این نام در ریشه سایت خود قرار دهید.

وب سایت هایی که از این فایل استفاده میکنند در رتبه بهتری در پیج رنک قرار می گیرند.
این فایل علاوه بر بهینه سازی باعث ایجاد امنیت بیشتر در برابر حملات خواهد شد.

آموزش ساخت فایل robots.txt

همان‌طور که در به‌طور کامل توضیح دادیم برای مدیریت ربات‌های موتورهای جستجو از دو دستور اصلی
که شامل User-agent و Disallow است استفاده می‌شود.
با ترکیب این دو دستور شما قادر خواهید بود قوانین مختلفی برای دسترسی به صفحات داخلی سایت خود وضع کنید.
برای مثال با یک User-agent می‌توان مشخص کرد چندین آدرس را معرفی نمود و یا برعکس این کار.
شما می‌توانید با قرار دادن نام هر یک از ربات‌ها به‌عنوان User-agent قوانین معینی برای آن‌ها تعریف کنید
و با استفاده از کاراکتر به‌جای نام در فایل robots.txt یک قانون را برای همه روبات‌ها اعمال کنید. مانند:

* :User-agent
/Disallow: /folder1

موتور جستجوی گوگل چندین نوع روبات مختص به خود را دارد که معروف‌ترین آن‌ها بانام Googlebot شناخته می‌شود
و وظیفه بررسی و ایندکس صفحات وب را عهده‌دار است. روبات Gogglebot-image نیز موظف به بررسی تصاویر سایت‌ها و ایندکس کردن آن‌ها است.

User-Agent: Googlebot
/Disallow: /folder2

ساخت robottxt

همچنین شما قادر هستید بهروش‌های مختلفی قوانین خود را اعمال کنید، می‌توان یک صفحه مشخص
و یا یک دسته از صفحات را برای یک دستور تعریف کنید. مثال‌های زیر روش‌های مختلف استفاده از این دستورات است:
برای جلوگیری از دسترسی روبات‌ها به تمام محتویات سایت از کاراکتر / استفاده می‌کنیم

/:Disallow

برای جلوگیری از دسترسی به یک فولدر یا دسته از سایت نام آن را وارد کنید

/Disallow: /blog

برای اعمال محدودیت روی یک صفحه خاص آدرس دقیق آن را بدون نام سایت وارد کنید

/Disallow: /blog/keyword-planner

برای محدود کردن یک تصویر بر روی سایت آدرس آن را به همراه User-agent مربوط به آن وارد کنید

User-agent: Googlebot-Image
Disallow: /images/seo.jpg

و برای پنهان کردن تمام تصاویر موجود بر روی سایت از دید موتورهای جستجو از دستور زیر استفاده کنید

User-agent: Googlebot-Image
/:Disallow

همچنین شما می‌توانید یک نوع فایل مشخص را از دید موتورهای جستجو مخفی نگه‌دارید، به‌عنوان‌مثال برای تصاویری با فرمت gif

User-agent: Googlebot
$Disallow: /*.gif

همچنین، شما می‌توانید فایل robots.txt خود را به سایت مپ xml لینک کنید.

 

چگونه یک فایل Robots.txt حاوی موقعیت نقشه سایت ایجاد کنیم؟

در ادامه سه مرحله آسان برای ساخت یک فایل robots.txt حاوی موقعیت نقشه سایت را برایتان شرح می‌دهیم:

مرحله اول: تعیین URL سایت مپ

URL مربوط به نقشه سایت (سایت مپ) بیشتر چنین شکلی دارد:

https://www.example.com/sitemap.xml

بنابراین کافی است این URL را در نوار آدرس مرورگر خود بنویسید
و بجای عبارت example، آدرس دامنه سایتتان را وارد کنید.همچنین می‌توانید
محل سایت مپ خود را به کمک جستجوی گوگل و استفاده از موتورهای جستجو همانند اشکال زیر تعیین کنید:

site:example.com filetype:xml
و یا
filetype:xml site:example.com inurl:sitemap

اما این روش فقط در صورتی جواب می‌دهد که سایت شما از قبل توسط گوگل بررسی و ایندکس شده باشد.
اگر هیچ نقشه سایتی در سایت خود پیدا نکردید، می‌توانید خودتان با استفاده از ابزار ساخت نقشه سایت،
یا دنبال کردن روش توضیح داده‌شده در Sitemaps.org یک نقشه سایت ایجاد کنید.

مرحله دوم: پیدا کردن فایل Robots.txt

برای شناسایی اینکه آیا سایت شما فایل robots.txt دارد یا خیر، می‌توانید
عبارت example.com/robots.txt را تایپ کنید. با انجام این کار، با 3 موقعیت روبرو خواهید شد:

ساخت robottxt
  • به فایل txt را مشاهده می کنید.
  • به یک فایل خالی (بدون محتوا) دسترسی پیدا می‌کنید.
  • با ارور 404 مواجه خواهید شد.

چنانچه با یک فایل خالی یا ارور 404 مواجه شدید، زمان آن است که فایل خود را بسازید.

مرحله سوم: اضافه کردن موقعیت نقشه سایت به فایل robots.txt

اکنون فایل robots.txt سایت خود بازکنید. برای آسان پیدا کردن خودکار نقشه سایت شما از طریق robots.txt،
تمام‌کاری که باید انجام دهید این است که همانند شکل زیر یک دستور را همراه با URL موردنظر به فایل robots.txt اضافه کنید:

Sitemap: https://www.example.com/sitemap.xml

درنتیجه فایل robots.txt به این شکل خواهد بود:

Sitemap: https://www.example.com/sitemap.xml
* :User-agent
:Disallow

نکته: دستوری که حاوی موقعیت نقشه سایت است را می‌توانید در هر جای فایل robots.txt قرار دهید.
این دستور از خط دستور user-agent مستقل است، درنتیجه تفاوت چندانی ندارد کجا قرار بگیرد.

در ادامه بخوانید:  نحوه استخدام متخصص سئو

با توجه به این‌که هر Sitemaps نمی‌تواند بیش از ۵۰۰۰ URL داشته باشد.
پس در مورد سایت‌های بزرگ‌تر که URL های فراوانی دارد، می‌توانید چند فایل Sitemaps بسازید.
باید موقعیت این چند فایل سایت مپ را در یک فایل فهرست نقشه سایت بگذارید.
فرمت XML فایل sitemap index مشابه فایل نقشه سایت است، یعنی درواقع یک نقشه سایت مربوط به نقشه‌های سایت است.
وقتی چند نقشه سایت دارید، می‌توانید URL مربوط به فایل فهرست نقشه‌های سایت را همانند مثال زیر در فایل robots.txt قرار دهید:

Sitemap: https://www.example.com/sitemap_index.xml
* :User-agent
Disallow

و یا می‌توانید تک‌تک URL های چند فایل نقشه سایتی که دارید را مشخص کنید، همانند شکل زیر:

Sitemap: https://www.example.com/sitemap_host1.xml
Sitemap: https://www.example.com/sitemap_host2.xml
* :User-agent
Disallow

به‌طورکلی توصیه می‌شود که همیشه دستور فرعی ‘Sitemap’ را در کنار URL نقشه سایت در فایل robots.txt قرار دهید.
اما در برخی موارد مشاهده‌شده است که این کار باعث بروز خطاهایی می‌شود.
می‌توانید حدود یک هفته بعدازاینکه فایل robots.txt را به‌روزرسانی کردید
و موقعیت نقشه سایت را در آن قراردادید، برای بررسی وجود چنین خطاهایی از ابزار سرچ کنسول گوگل استفاده کنید.

برای جلوگیری از بروز این خطا، توصیه می‌شود که بعد از URL نقشه سایت یک خط را خالی بگذارید.

چطور یک فایل Robots.txt در وردپرس ایجاد کنیم؟

دو راه برای ساخت و ویرایش فایل Robots.txt در وردپرس وجود دارد که به‌دلخواه، هرکدام را که می‌خواهید می‌توانید انتخاب کنید.

روش اول: ساخت و ویرایش فایل Robots.txt توسط افزونه Yoast SEO

اگر از افزونه Yoast SEO استفاده می‌کنید، پس می‌توانید از تولیدکننده فایل Robots.txt این افزونه نیز استفاده کنید.
شما می‌توانید با استفاده از ادیتور Robotx.txt این افزونه، فایل Robots.txt برای سایت خود ایجاد کرده و آن را ویرایش کنید.
کافی است از قسمت پیشخوان وردپرس وارد بخش سئو > ابزارها شوید و بر روی ویرایشگر فایل کلیک کنید
این ابزار به شما این امکان را می‌دهد که به‌سرعت پرونده‌های مهم سئو مانند فایل robots.txt و.htaccess را به‌سادگی تغییر دهید.

در این صفحه افزونه Yoast SEO فایل فعلی Robots.txt شمارا نمایش می‌دهد.
درصورتی‌که فایل Robots.txt ندارید، می‌توانید به کمک افزونه یوست سئو آن را ایجاد کنید.

ساخت robottxt

حالا می‌توانید دستورات مختص خود را در فایل جایگزین کنید. و سپس بر روی ذخیره تنظیمات کلیک کنید.

روش دوم: ویرایش فایل Robots.txt به‌صورت دستی با استفاده از FTP

در این روش شما نیاز به یک سرویس‌گیرنده FTP برای ویرایش فایل Robots.txt دارید.
به هاست وردپرس سایت خود با استفاده از یک گیرنده FTP متصل شوید.طبق تصویری که مشاهده می‌کنید،
شما می‌توانید فایل Robots.txt را در ریشه سایت خود مشاهده کنید.

ساخت robottxt

اگر شما فایلی بانام Robots.txt مشاهده نمی‌کنید، به این معناست که سایت شما آن فایل را ندارد.
اما نگران نباشید، خیلی ساده یک فایل ایجاد کنید و نام آن را robots.txt قرار دهید.

ساخت robottxt

فایل Robots.txt یک فایل متنی ساده است. این جمله بدین معناست که شما می‌توانید
فایل Robots.txt سایت خود را دانلود کرده و آن را در کامپیوتر شخصی خود با استفاده از نرم‌افزارهای ویرایشگر،
ویرایش کنید و پس از اعمال تغییرات، مجدداً آن را در ریشه‌هاست سایت خود آپلود کنید.

آزمایش فایل robots.txt در بخش robots.txt tester سرچ کنسول گوگل

حال که فایل robots.txt خود را ایجاد کرده‌اید، زمان آن است که از درستی عملکرد آن اطمینان یابید.
گوگل در ابزار سرچ کنسول، ابزاری رایگان به نام robots.txt tester را در دسترس وب‌مسترها قرار داده است.
برای آزمایش فایل خود ابتدا وارد اکانت کنسول جستجوی خود شوید.

ساخت robottxt

سایت موردنظر خود را انتخاب کنید و از منوی سایدبار بر روی گزینه Crawl کلیک کنید.

ساخت robottxt

پس از باز شدن کشوی Crawl، ابزار robots.txt tester را مشاهده می‌کنید. بر روی آن کلیک کنید.

ساخت robottxt

اگر به‌طور پیش‌فرض، دستوری در باکس موردنظر وجود دارد، آن را پاک‌کرده و دستورات جدید را وارد نمایید.

ساخت robottxt

درنهایت، پس از واردکردن دستورات، بر روی گزینه Test که در پایین صفحه در سمت راست قرار دارد، کلیک کنید.
اگر نوشته دکمه از Test به Allowed تغییر یافت به این معنی است که فایل robots.txt شما معتبر است.

 

خلاصه مطالب

فایل robots.txt چیست؟
آموزش ساخت فایل robots.txt
چگونه یک فایل Robots.txt حاوی موقعیت نقشه سایت ایجاد کنیم؟
چطور یک فایل Robots.txt در وردپرس ایجاد کنیم؟

 

ساخت robottxt x بخوانید...