ربات سایت یا Robots.txt چیست ؟ و چگونه بسازیم ؟

سایت چیست؟ - ربات سایت یا Robots.txt چیست ؟ و چگونه بسازیم ؟

ربات سایت یا Robots.txt کاربرد های مختلفی در سئو سایت دارد که حتما باید درباره آن اطلاعات کاملی داشته باشید .

Robots.txt سایت چیست ؟

یک صفحه با فرمت .txt می باشد که با استفاده از کد های آماده ای که برای آن تعریف شده است می توانید دسترسی ربات های موتور های جستجو را به صفحات خود محدود و یا آزاد کنید .

برای مثال شما می خواهید ربات های گوگل برخی از صفحات شما را در نتایج جستجو ایندکس نکنند که با استفاده از ربات سایت می توانید اینکار را به سادگی انجام دهید .

نمونه ای از ربات سایت را برای شما مثال می زنیم که برای سایت همگام سئو می باشد :

http://hamgamseo.ir/robots.txt

ربات سایت کاربرد های فراوانی دارد که در ادامه بیشتر درباره آن توضیح خواهیم داد .

 

ربات سایت یا Robots.txt چه کاربرد هایی دارد ؟

از Robots.txt می توانید استفاده های دقیقی با کد های مشخص شده انجام دهید . برای مثال شما می توانید فقط دسترسی یک ربات را به یک صفحه ببندید .

مثلا شما می خواهید یک صفحه در نتایج جستجو گوگل که با موبایل سرچ شده است نمایش داده نشود . برای اینکار شما دسترسی ربات هایی که نتایج جستجو موبایل را نمایش می دهند به آن صفحه می بندید .

دلیل ذکر این مثال دسترسی بالای شما از طریق ربات سایت به سایر ربات های موتور های جستجوگر می باشد .

همچنین یکی دیگر از کاربرد های آن معرفی سایت مپ یا نقشه سایت به ربات های موتور های جستجو می باشد که باعث بهبود شناسایی صفحات سایت شما می شود .

حال سوالی که پیش می آید این است که چرا باید دسترسی به برخی از صفحات سایت را بگیریم ؟ در جواب باید گفت بعضی صفحات هستند که ایندکس شدن آنها غیر ضروری می باشد و برای منظم تر شدن صفحات ایندکس شده سایت شما باید دسترسی به آنها را ببندید . برای مثال صفحه ی ثبت نام و ورود کاربر به سایت صفحاتی غیر ضروری هستند و باید دسترسی ربات های موتور های جستجو به آن صفحات را ببندید تا در موتور های جستجو ایندکس نشوند . اینکار را می توانید به سادگی با Robots.txt انجام دهید .

 

نکات تکمیلی درباره ربات سایت یا Robots.txt

برای ساخت آن کافی است وارد هاست خود شوید و در بخش Public_html یک فایل به نام Robots.txt بسازید .

برای گرفتن دسترسی ربات ها به صفحات کافیست کد های زیر را وارد کنید :

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-admin/admin-ajax.php
Disallow: /feed/
Diasllow: /vorod/
Diasllow: لینک مورد نظر

به کد های بالا دقت کنید ابتدا کد User-agent:* آمده است با این کد رباتی که می خواهید دسترسی را از آن بگیرید مشخص می کنید که با استفاده از * دسترسی تمام ربات ها بسته شده است . بعد از آن از کد Disallow: برای مشخص کردن صفحات استفاده می شود . برای مثال دسترسی ربات ها به صفحه ی /wp-admin/ بسته شده است .

برای معرفی نقشه سایت در ربات سایت از کد زیر در آخرین خط استفاده می شود : ( دقت کنید در آخرین خط ربات سایت از آن استفاده نمایید . )

Sitemap: آدرس سایت مپ

برای مثال :

Sitemap: http://hamgamseo.ir/sitemap_index.xml

 

امیدوارم به خوبی متوجه شده باشید که ربات سایت چیست و چه کاربردهایی دارد .

لطفا به این مطلب رای دهید
[تعداد: 1    میانگین: 5/5]
0 پاسخ
نظرات و سوالات خود را ارسال کنید .
نظرات پس از بررسی نمایش داده خواهند شد .
محتوا با متن انگلیسی و محتوای توهین آمیز حذف می شود .

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *