ساخت فایل روبوت
سلام خیلی خوش امدید به مهراکت در این مطلب قصد داریم راجب موضوع ها ی ساخت فایل روبوت وفایل robots.txt یا متاتگ روبات وساخت robots.txt وردپرس و بهینه سازی robots.txtصحبت کنیم تا انتها با مهراکت همراه باشید.
فایل robots.txt یک فایل متنی است که به‌وسیله آن خط‌مشی برای ربات موتورهای جستجو تعیین می‌کنیم
که چه آدرس‌هایی را خزش و ایندکس کنند و چه آدرس‌هایی را خزش و ایندکس نکنند. توجه داشته باشید
که ماهیت خزش با ایندکس فرق دارد
. یک ربات باید در ابتدا خزشی را صورت بدهد و سپس تصمیم می‌گیرد که آن را در دیتابیس موتورهای جستجو ذخیره کند
یا نه. اگر ذخیره شود عمل ایندکس رخ‌داده است
. ما در این مقاله از سایت میزفا به نحوه ایجاد و ساخت فایل robots.txt می‌پردازیم
و شما با خواندن این مقاله صرف نظر از اینکه چه نوع CMS (وردپرس، جوملا و …) دارید، می‌توانید این فایل را ایجاد و مدیریت کنید.
ساخت فایل روبوت
موتورهای جستجو با خزیدن در میان صفحات سایت شما، آن‌ها را ایندکس می‌کند
و با دنبال کردن لینک‌ها وارد صفحات یا سایت‌های دیگر می‌شوند
. هر ربات استانداردی قبل از خزیدن صفحه‌ای از یک دامنه، ابتدا فایل robots.txt را می‌خواند
و بر اساس دستورات موجود در این فایل، اجازه خزیدن را پیدا می‌کند
تا بتواند ایندکس را انجام دهد. پس باید دقت داشته باشید
که چه صفحاتی را برای خزیدن منع می‌کنید
چراکه اگر به‌اشتباه صفحات مهم خود را مخصوصاً صفحات فرود یا همان لندینگ پیج را از طریق این فایل برای ربات‌ها مسدود کنید
ضربه بدی به سئو سایت و درنتیجه تجارت آنلاین خود وارد می‌کنید. (اهمیت و نحوه ساختن صفحات فرود یا لندینگ پیج را می‌توانید به همراه مثال در مقاله جامع صفحه فرود چیست بخوانید)
فایل robots.txt مختص ربات‌ها است اما جالب است بدانید
که چنین فایلی برای انسان‌ها هم نوشته می‌شود.
این فایل humans.txt نام دارد و حاوی پیامی برای کاربران و بازدیدکنندگان سایت شما است
و اصولاً به زبان انگلیسی نوشته می‌شود.
نمونه فایل robots.txt و فایل humans.txt برای سایت گوگل:
https://www.google.com/robots.txt
https://www.google.com/humans.txt
فایل robots.txt یا متاتگ روبات
اگر می‌خواهید آدرسی از صفحات و لینک‌های آن توسط روبات بررسی شود
اما در نتایج جستجو نمایش داده نشود، درنتیجه باید بجای فایل robots.txt از متاتگ ربات استفاده کنید
اگر قصد دارید این روش را به شکل بهینه انجام دهید مقاله متاتگ robots ما را حتماً بخوانید
تا به نکات جالبی درباره این متاتگ دست پیدا کنید.
فایل robots.txt باید در چه آدرسی قرار دهیم؟
بعد از ساخت فایل robots.txt با فرمت ASCII یا UTF-8 این فایل حتماً در آدرس http://domain.com/robots.txt مورد دسترسی ربات‌ها قرار گیرد (بجای domain.com نام دامنه سایت خود را قرار دهید). حال دو نکته درباره این موضوع:
- اگر ربات خزنده قصد داشته باشد به زیر دامنه‌های ما سر بزند باید برای هر زیردامنه یک فایل robots.txt جداگانه ایجاد کنیم.
- اگر سایت شما هم با www و هم بدون www باز می‌شود باید فایل robots.txt را در هر دو حالت یکسان تنظیم کنید؛ همین موضوع برای http و https هم صدق می‌کند ولی به این نکته توجه داشته باشید که اگر سایت به این شکل در دسترس باشد باعث ایجاد محتوای تکراری می‌شود که برای سئو داخلی سایت به‌شدت ضرر است
- و یکی از دلایل پنالتی شدن سایت در گوگل می‌باشد، چراکه تمام زیر دامنه‌ها از نگاه گوگل یک سایت مجزا محسوب می‌شود. ولی درباره این فایل بدانید که اگر زیر دامنه‌های شما جداگانه باز می‌شود گوگل برای خواندن فایل robots.txt دامنه http را اولویت قرار می‌دهد.
http://www.site.com https://www.site.com http://site.com https://site.com
نکته مهم دیگر اینکه که فایل robots.txt حتما باید با حروف کوچک نوشته شود. این فایل همانند URL نام این فایل نسبت به حروف بزرگ و کوچک حساس است. به عنوان مثال آدرس‌های زیر کاملا با هم فرق دارند و فقط اولین آدرس صحیح می‌باشد.
mizfa.com/robots.txt mizfa.com/robotS.txt mizfa.com/robots.TXT mizfa.com/Robotx.txt mizfa.com/ROBO
ساخت robots.txt وردپرس و بهینه سازی robots.txt
برای ساخت فایل robots.txt وردپرس ابتدا وارد هاست خودتون بشید و بعد از ورود روی File Manager کلیک کنید تا به فایل منیجر هاست هدایت شده و بتونید فایل‌های موجود در هاست را کنترل کنید.
بعد از کلیک روی این دکمه به مسیر /public_html/ مراجعه کنید تا به مسیری که وردپرس در اون نصب هست برسید. اگر وردپرس روی دامنه اصلی شما نصب شده کافیه توی همین مسیر باشید اما اگر در پوشه جدایی اونو نصب کردید باید وارد همون پوشه از هاست خودتون بشید. حالا که به مسیر درست رسیدید با استفاده از برنامه notepad یا هر نرم‌افزار ویرایشگر متن که دارید یک فایل با نام robots.txt و همین فرمت بسازید و با کلیک روی دکمه آپلود در فایل منیجر هاست اونو به این مسیر اضافه کنید. یا اینکه با کلیک روی دکمه FILE+ کلیک کنید تا پنجره‌ای مشابه تصویر زیر براتون باز بشه و بعدش نام فایل را در فیلد New File Name با نام robots.txt وارد کنید و در نهایت روی دکمه Create New File کلیک کنید تا فایل شما ساخته شود.
حالا که فایل را ایجاد کردید بر اساس توضیحاتی که در ادامه میدم میتونید تا با دستورات و قوانینی که این فایل داره دسترسی برای موتورهای جستجو توسط این فایل را به پوشه‌های مختلف از هاست خودتون کنترل کنید
در ابن پست مطالب زیر را بیان کردیم:
- ساخت robots.txt وردپرس و بهینه سازی robots.txt
- فایل robots.txt باید در چه آدرسی قرار دهیم؟
سپاس از این که وقت گذاشتین و با ما همراه بودید تا اخر این مطلب لطفا از بیقه پست ها هم دیدن فرمایید:
