سئو رایگان, رتبه گوگل ,بررسی سایت

دزدی مطلب,رتبه آلکسا,بک لینک رایگان
ساخت ربات,کلمات کلیدی,نقشه ی سایت,moz

چک سایت ,آیپی دامنه ,آنتی ویروس,بررسی وبسایت

seo,check site,free seo,google backlink

ساخت Robots.txt

بررسی تخصصی سئو وبسایت شما

ساخت Robots.txt


پیش فرض . تمام ربات ها فعال:  
    
Crawl-Delay:
    
نقشه ی سایت: (اگر نیازش نداری خالی بذار باشه، والا) 
     
جستوی ربات ها: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
پوشه های محدود: The path is relative to root and must contain a trailing slash "/"
 
 
 
 
 
 
   



فایل robots.txt را درون ریشه هاست اینجاد نمایید و متن بالا را درون آن قرار دهید.


درباره ساخت Robots.txt

فایل Robots.txt چیست؟

وظیفه فایل robots.txt محدود کردن دسترسی روبات های گوگل و سایر موتورهای جستجو به محتویات سایت شماست. این روبات ها بصورت کاملا اتوماتیک عمل کرده و قبل از ورود به هر سایت یا صفحه ای از وجود فایل robots.txt بر روی آن و محدود نبودن دسترسی محتوا مطمئن میشوند. تمامی روبات های استاندارد در اینترنت به این قوانین و محدودیت ها احترام گذاشته و صفحات شما را بازدید و ایندکس نخواهند کرد ولی روبات های اسپم توجهی به این فایل نخواهند داشت. اگر تمایل به حفظ امنیت محتوایی خاص و پنهان کردن آن از دید روبات های اینترنتی دارید بهتر است از پسورد گذاری صفحات استفاده کنید.

در عمل استفاده از فایل robots.txt به شما این امکان را میدهد که صفحات سایت را تنها مختص کاربران اینترنتی طراحی کرده و ترسی از محتوای تکراری، وجود لینک های بسیار در آن صفحه و تاثیر منفی بر سئو سایت نداشته باشید. همچنین به شما این امکان را میدهد که صفحات بی ارزش و کم محتوا را از دید موتورهای جستجو پنهان کنید تا زمان روبات ها در سایت شما برای ایندکس کردن این صفحات هدر نرود.