فایل Robots.txt چیست
سلام خیلی خوش امدید به مهراکت در این مطلب قصد داریم راجب موضوع ها ی فایل Robots.txt چیست و مثال هایی از فایل robots.txt وچرا باید از آن استفاده کرد؟
صحبت کنیم تا انتها با مهراکت همراه باشید.
همانطور که همه‌ی ما می‌دانیم
، ربات‌های موتورهای جستجو پررنگ‌ترین نقش ممکن برای معرفی کامل یک سایت به موتورهای جستجو را ایفا می‌کنند.
گوگل به عنوان بزرگترین مرجع و گسترده‌ترین شبکه در این زمینه، ربات‌های اختصاصی و عمومی زیادی گسترش داده است.
وب‌مسترهای موفق همواره عملکرد و تغییرات این ربات‌ها را دنبال کرده و مطابق با استانداردهای آنان پیشروی می‌کنند.
اما این ربات‌ها به چه صورت به سایت‌های گوناگون دسترسی پیدا می‌کنند؟
چطور می‌توان دسترسی این ربات‌ها به محتوا یا صفحات خاصی از سایتمان را محدود کنیم
یا به آنها دسترسی کامل بدهیم؟ برای این مورد، تکنیکی ساده و در عین حال فوق‌العاده مهم و حیاتی وجود دارد. این تکنیک، استفاده از یک فایل متنی موسوم به Robots.txt است که با کمک آن و درج دستورات تحت وب می‌توان کارهای مختلفی از جمله ایجاد دسترسی یا محدودسازی ربات موتورهای جستجو را انجام داد.
اهمیت و بهینه‌سازی این فایل می‌تواند نقش بسیار مفیدی در پیشرفت سایت اینترنتی شما داشته باشد و درست برعکس، بی‌توجهی و بی‌دقتی در کار با آن، ممکن است به راحتی رتبه سایت شما را چندین برابر بدتر کند. ما در این مقاله قصد داریم تا شما را با ماهیت فایل‌های Robots.txt آشنا کرده و اهمیت بسیار زیاد آنها برای کسب موفقیت بهتر در فرآیندهای سئو به شما بازگو کنیم.
بیشتر بدانید: موتورهای جستجو چگونه کار می‌کنند؟
بیشتر بدانید:
- MailOrder Brides Out of Asia
- سئو با استفاده از پینترست
- تولید محتوای تجاری
- روش های تولید محتوای تصویری
فایل Robots.txt چیست؟
یک Robots.txt درواقع یک فایل متنی ساده است که در مسیر اصلی فضای سایت شما یا روت دایرکتوری (Root Directory) قرار می‌گیرد. در حقیقت وظیفه این فایل معرفی بخش‌های قابل دسترسی و بخش‌های محدود شده برای دسترسی ربات‌ها یا با تعریفی دقیق‌تر، خزندگان سطح وب (Web Crawlers) که از سوی موتورهای جستجو به منظور بررسی و ثبت اطلاعات سایت‌ها ایجاد شده اند میباشد.
با درج دستوراتی خاص در این فایل، شما میتوانید به ربات‌های موتورهای جستجو بگوئید که کدام صفحات، کدام فایل‌ها و کدام بخش‌های سایت شما را دیده و آنها را ایندکس کنند و کدام صفحات را نادیده بگیرند. به عبارت دیگر، اولین چیزی که ربات‌های موتورهای جستجو با آن برخورد می‌کنند، همین فایل Robots.txt است. به محض رویارویی با این فایل، خزندگان سطح وب شروع به بررسی محتوا و لیست داخل این فایل کرده تا بخش‌های قابل دسترسی را پیدا کنند.
همانطور که گفته شد، این فایل باید در روت اصلی هاست شما قرار بگیرد. در این حالت آدرس دسترسی به این فایل به صورت زیر خواهد بود :
www.YourWebsite.com/robots.txt
مثال هایی از فایل robots.txt و فایل Robots.txt چیست
در ادامه مثال هایی را از فایل robots.txt برایتان آماده کرده ایم. دقت داشته باشید که این فایل در مسیر روت سایت یعنی آدرس www.example.com/robots.txt قرار دارد.
جلوگیری از دسترسی تمام پایشگر ها به کل وب سایت:
User-agent: *
Disallow: /
این دستورات در فایل robots.txt به تمام پایشگرهای وب اعلام می کند که هیچ صفحه ای در دامنه www.example.com را پایش نکنند.
دسترسی دادن به تمام صفحات سایت به تمام پایشگرها:
User-agent: *
Disallow:
این دستورات در فایل robots.txt به تمام پایشگرهای وب اعلام می کند که می توانند تمام صفحات دامنه www.example.com را پایش کنند.
بلاک کردن دسترسی یک پایشگر به خصوص از یک فولدر مشخص:
User-agent: Googlebot
Disallow: /example-subfolder/
این دستورات به پایشگر Googlebot (ربات پایشگر گوگل) اعلام می کند که یو آر ال های شامل www.example.com/example-subfolder/ پایش نکند.
بلاک کردن دسترسی یک پایشگر به خصوص از یک صفحه وب مشخص:
User-agent: Bingbot
Disallow: /example-subfolder/blocked-page.html
این دستورات به پایشگر Bingbot (ربات پایشگر بینگ) اعلام می کند که صرفا یو آر ال www.example.com/example-subfolder/blocked-page.html را پایش نکند.
برای ایجاد و تست این فایل میتوانید از google webmasters tools استفاده کنید. گوگل وب مستر تولز ابزاری با عنوان robots.txt testing tool ارائه داده است که به شما کمک میکند فایل robots.txt را به آسانی ایجاد و تست کنید.
این ابزار در بخش crawl گوگل وب مستر تولز قابل مشاهده میباشد. در این قسمت شما میتوانید فایلی که با عنوان robots.txt وجود دارد را بررسی کنید، اطلاعات این فایل را تغییر داده و یا توسط این ابزار آنها را چک کنید. توجه کنید که پس از اعمال تغییرات لازم است فایل تغییر یافته را در سرور خود آپلود نمایید تا تاثیرات آن در سایت شما ظاهر شود.
چرا باید از آن استفاده کرد؟
مونطور که در عکس بالا میبینید ، در سایتی که از فایل robot.txt استفاده نشده باشه روبات‌های موتورهای جستجو همه ی صفحات رو ایندکس می‌کنند در صورتی که با استفاده از این فایل میشه این ایندکس شدنها رو برای پوشه‌های مختلف کنترل کرد ! از این فایل همچنین برای جلوگیری از ایندکس شدن تکراری صفحات با urlهای مختلف استفاده میشه . :: خوب حالا که فهمیدید دلیل استفاده از فایل مهم robot.txt چی هست ، نحوه استفاده از اون رو براتون توضیح میدیم : فایل robot.txt یک فایل متنی ساده (دقیقا با همین نام و پسوند txt) است . در زیر چند تا از مهمترین دستوراتی که توی این فایل می‌تونید بیارید آوردم .
ممنون از این که با ما همراه بودید
