ساخت فایل robots.txt برای وردپرس : آموزش و نمونه های SEO

  • شنبه ۱۶ اردیبهشت, ۱۳۹۶
  • ۲۸۲۲ بازدید
ساخت فایل robots.txt برای وردپرس : آموزش و نمونه های SEO
5 (100%) 1 vote

اگر قصد داشته باشید تا بر روی سئو یک وبسایت کار کنید، ساخت فایل robots.txt نقش بسیار مهمی را در زمینه سئو کردن وبسایت شما بازی خواهد کرد. در حال حاضر با توجه به الگوریتم موتورهای جستجوگر باید با احتیاط از این فایل استفاده کنید.

این فایل به شما ایین امکان را می‌دهد تا از آنالیز شدن بعضی از صفحات و فایل هایی موجود در هاست خود توسط موتورهای جستجوگر جلوگیری کنید ولی معمولا این چیزی نیست که شما به آن تمایل داشته باشید.

ساخت فایل robots.txt برای وردپرس

در چند سال گذشته گوگل الگوریتم ها و روش های خود را که برای آنالیز کردن یک وبسایت بکار می‌برد را بسیار تغییر داده است و بسیاری از روش های قدیمی در زمینه سئو وبسایت دیگر فایده ای ندارند.

در ادامه این نوشته توضیح خواهیم داد که در حال حاضر بهترین شیوه آماده سازی و ساخت فایل robots.txt برای وردپرس چگونه انجام می‌شود.

گوگل وبسایت شما را کامل پردازش می‌کند

موتور جستجوگر گوگل دیگر مانند گذشته کند ذهن نیست که نوع HTML شده وبسایت شما را بدون در نظر گرفتن کدهای JavaScript و CSS دریافت کند؛ در حال حاضر گوگل وبسایت شما را کامل پردازش می‌کند.

یعنی اگر شما گوگل را از دسترسی به فایل هایی جاوا اسکریپت و CSS خود منع کنید، فایده ای نخواهد داشت.

نباید فایل های جاوا اسکریپت و CSS وبسایت خود را در فایل robots.txt مسدود کنید.

حتی عادتی قدیمی که در فایل robots.txt خود سعی داشتیم تا دایرکتوری هایی مانند wp-includes حذف کنیم دیگر معتبر و درست شناخته نمی‌شوند و حتی پیشنهاد می‌شود تا در صورتی که بصورت پیشفرض فایل admin-ajax.php در مسیر wp-admin مسدود شده است آن را برای آنالیز شدن توسط گوگل مجاز کنید.

Robots.txt دیگر به لینک ها اهمیت نمی‌دهد

یک نکته مهم که باید به خاطر داشته باشید این است که زمانی که شما URL ای را در فایل robots.txt می‌گذارید گوگل دیگر آن صفحه را Crawl یا پردازش نمی‌کند. در این صورت لینک هایی که به این صفحات داده می‌شوند هم اهمیت و ارزشی نخواهند داشت.

بنابراین اگر صفحه ای دارید که نمی‌خواهید در گوگل ایندکس شود به جای استفاده از robots.txt از متا تگ rel با یکی از مقادیر noindex, follow استفاده کنید.

با این‌کار موتورهای جستجوگر می‌توانند ارزش و مقدار لینک را برای این دسته از صفحات در تمام وبسایت شما توزیع کنند.

آیا بهتر است به نقشه سایت در robots.txt لینک دهیم؟

این کار کمی بی معنی به نظر می‌رسد؛ برای معرفی نقشه سایت XML وبسایت خود به موتورهای جستجوگر معرفی کنید، بهترین کار با استفاده از Webmaster Tools هر موتور جستجوگر است و پس از آن از بازخورد موتورهای جستجوگر نسبت به نقشه سایت خود آگاه شوید.

به همین دلیل هم هست که در فایل پیشفرضی که افزونه WordPress SEO ساخته می‌شود خبری از معرفی لینک نقشه سایت نیست.

برای معرفی نشانی نقشه سایت وبسایت خود به فایل robots.txt متکی نباشید.

بسیار علاقه مند هستیم تا این نوشته را با تجربیات شما بازدیدکنندگان گرامی کامل کنیم، بنابراین اگر تجربه ایی دارید با ما در میان بگذارید 🙂

ساخت فایل robots.txt برای وردپرس : آموزش و نمونه های SEO
5 (100%) 1 vote
برای دریافت تازه‌ترین ها به کانال تلگرامی کدفنجونی بپیوندید : cupcode_ir@

کاوان نصری

آذر ۲۱, ۱۳۹۶ در ۹:۴۸ ب.ظ

پاسخ

سلام
من وب سایتم قالبش رو عوض کردم و بعد از اون افت زیادی داشت به صورتی که حتی وقتی تولید محتوا حرفه ایی هم انجام میدادیم باز محصول مون بازدید نداشت تو وبمستر دیدم ۳/۴۶۷ تا لینک مسدود که همه ش هم ما محصول هامون بود شده داشتیم که گوگل میگفت دلیلش robot.txt هستش محدود کرده کل فایل robot.txt به این صورته :
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Sitemap: */sitemap_index.xml

حالا من Disallow: /wp-includes/ رو که خود گوگل تو وب مستر گفته بود رو حذف کردم به نظرتون مشکلم حل میشه ؟

ممنون میشم پاسخ بدید چون واقعا ما رو تو دردسر انداخته

آرتین

آذر ۲۲, ۱۳۹۶ در ۱۰:۴۲ ب.ظ

پاسخ

درود، تجربه نشون میده که گوگل توجهی به فایل robots.txt وبسایت شما نداره! هر چیزی که بخواد میگرده و البته که گذاشتن یا خارج کردن این مسیر در این فایل هم ارتباط زیادی به کاهش بازدید های شما نداره

رها منشی

اردیبهشت ۳۰, ۱۳۹۶ در ۱:۴۶ ب.ظ

پاسخ

با سلام و تشکر . چرا هر سایت برای بهبود سئو یه چیزی میگه؟من تا حالا ده جور فایل robots.txt دیدم که همم گفتن این بهینست. گیج شدم.

آرتین

اردیبهشت ۳۰, ۱۳۹۶ در ۸:۵۱ ب.ظ

پاسخ

مثلا میتونید نمونه بگید تا بررسی بشه؟ سعی کنید از روش های استفاده کنید که منطقی و با دلیل و مدرک هست.

دیدگاه خود را در میان بگذارید

@
1 + 1 =

اگر ربات نیستید به پرسش پاسخ دهید! *