اگر گوگل وب سایت شما را ایندکس نمی کند، شما تقریبا دیده نمی شوید. برای هیچ عبارت جستجویی نمایش داده نمی‌شوید، و هیچ ترافیک واقعی دریافت نمی‌کنید. نکات این مطلب برای طراحی سایت بسیار حیاتی و مهم هستند و می توانند در بهینه سازی سایت شما نیز بشدت تاثیر گذار باشد.
این مطلب – ایندکس شدن سایت در گوگل – به شما آموزش می دهد که چگونه هر یک از سه مشکل زیر را برطرف کنید:
وب سایت شما کلا ایندکس نشده است.
برخی از صفحات شما ایندکس می شوند، اما برخی دیگر ایندکس نمی شوند.
صفحات وب تازه منتشر شده شما به اندازه کافی سریع ایندکس نمی شوند.
خزیدن و نمایه سازی چیست؟
گوگل صفحات وب جدیدی را با خزیدن در وب کشف و سپس آنها را به فهرست خود اضافه می کند. این کار را با استفاده از یک خزنده وب به نام Googlebot انجام می دهند.
اجازه دهید چند اصطلاح کلیدی را تعریف کنیم.
خزیدن : فرآیند دنبال کردن لینک ها در وب برای کشف محتوای جدید.
فهرست کردن : فرآیند ذخیره هر صفحه وب در یک پایگاه داده وسیع.
خزنده وب : نرم افزاری است که برای انجام فرآیند خزیدن طراحی شده است.
گوگل بات : ربات خزنده وب گوگل.
وقتی چیزی را در گوگل جستجو می‌کنید، از گوگل می‌خواهید که همه صفحات مرتبط را از فهرست آنها پیدا کند. از آنجایی که اغلب میلیون‌ها صفحه متناسب با درخواست شما وجود دارد، الگوریتم رتبه‌بندی گوگل تمام تلاش خود را می‌کند تا صفحات را مرتب کند تا ابتدا بهترین و مرتبط ترین نتایج را نمایش دهد.
نکته مهمی که در اینجا به آن اشاره می کنم این است که ایندکس کردن و رتبه بندی دو چیز متفاوت هستند.
ایندکس کردن (indexing) برای مسابقه نمایش داده می شود. رتبه بندی (rating) برنده مسابقه است. شما نمی توانید بدون حضور در مسابقه در وهله اول برنده شوید.
ایندکس شدن سایت در گوگل
چگونه بررسی کنیم که آیا در گوگل ایندکس شده اید
به گوگل بروید، سپس عبارت site:yourwebsite.com را جستجو کنید. بجای yourwebsite.com آدرس سایت خود را وارد نمایید.
عدد مشخص شده در تصویر به طور تقریبی نشان می دهد که گوگل چه تعداد از صفحات شما را ایندکس کرده است.
اگر می خواهید وضعیت فهرست یک آدرس خاص را بررسی کنید، اینطور site:yourwebsite.com/web-page-slug استفاده کنید.
چنانچه صفحه ایندکس نشود، هیچ نتیجه ای نشان داده نمی شود.
اگر کاربر کنسول جستجوی گوگل هستید، می‌توانید از گزارش پوشش (coverage) برای دریافت اطلاعات دقیق‌تری از وضعیت فهرست شدن وب‌سایت خود استفاده کنید. کافیست در کنسول گوگل به مسیر زیر بروید:
Google Search Console > Index > Coverage
ایندکس شدن سایت در گوگل
به تعداد صفحات Valid (با و بدون هشدار) دقت کنید.
اگر مجموع این دو عدد چیزی جز صفر باشد، گوگل حداقل برخی از صفحات وب سایت شما را ایندکس می کند. اگر نه، پس مشکل شدیدی دارید زیرا هیچ یک از صفحات وب شما ایندکس نشده است.
شما همچنین می‌توانید از «کنسول جستجو» برای بررسی ایندکس شدن یک صفحه خاص استفاده کنید. برای انجام این کار، URL موردنظر را در ابزار URL Inspection قرار دهید.
اگر آن صفحه ایندکس شود، پیام «URL is on Google» نشان داده می شود.
اگر صفحه ایندکس نشده باشد، عبارت «URL is not on Google» را خواهید دید.
نحوه ایندکس شدن توسط گوگل
متوجه شدید که وب سایت یا صفحه شما در گوگل ایندکس نشده است؟ این روش را امتحان کنید :
به کنسول جستجوی گوگل بروید. سپس ابزار URL Inspection را انتخاب کنید.
نشانی اینترنتی را که می‌خواهید Google فهرست کند در نوار جستجو جای‌گذاری کنید.
منتظر بمانید تا گوگل URL را بررسی کند.
روی دکمه “Request indexing” کلیک کنید.
این فرآیند زمانی که یک پست یا صفحه جدید منتشر می کنید تمرین خوبی است. شما در واقع به گوگل می گویید که چیز جدیدی به سایت خود اضافه کرده اید و آنها باید به آن نگاهی بیندازند.
ایندکس شدن سایت در گوگل
با این حال، بعید است که درخواست نمایه سازی مشکلات اساسی را که مانع از فهرست کردن صفحات قدیمی گوگل می شود، حل کند. اگر چنین است، موارد زیر را برای تشخیص و رفع مشکل دنبال کنید.
1) بلوک های خزنده را در فایل robots.txt خود حذف کنید
آیا گوگل کل وب سایت شما را ایندکس نمی کند؟ ممکن است به دلیل مسدود بودن ربات گوگل در فایل robots.txt باشد.
برای بررسی این مشکل، به yourdomain.com/robots.txt بروید.
به دنبال این دو کد بگردید:
User-agent: Googlebot
Disallow: /User-agent: *
Disallow: /
هر دوی این موارد به Googlebot می‌گویند که آنها مجاز به خزیدن هیچ صفحه‌ای در سایت شما نیستند. برای رفع مشکل، آنها را حذف کنید.
بطور کلی فایل robots.txt خود را برای هر «Disallow» مربوط به یک آدرس خاص یا مجموعه مربوطه دوباره بررسی کنید. در صورت لزوم حذف کنید.
2) تگ های noindex را حذف کنید
گوگل صفحاتی که تگ noindex دارند را ایندکس نمی کند. این تگ برای خصوصی نگه داشتن برخی از صفحات مفید است.
دو راه برای انجام اینکار وجود دارد:
روش 1: متا تگ
صفحاتی که هر کدام از این متا تگ ها را در بخش <head> دارند توسط Google ایندکس نمی شوند:
<meta name=“robots” content=“noindex”>
<meta name=“googlebot” content=“noindex”>
این عبارت یک تگ متا روبات است و به موتورهای جستجو می گوید که آیا می توانند صفحه را ایندکس کنند یا نه.
روش 2: X-Robots-Tag
خزنده ها همچنین به هدر HTTP X-Robots-Tag اهمیت می دهند. شما می توانید این روش را با استفاده از یک زبان برنامه نویسی سمت سرور مانند PHP یا در فایل htaccess. خود یا با تغییر پیکربندی سرور خود پیاده سازی کنید.
ابزار inspection URL در کنسول جستجو به شما می گوید که آیا Google از خزیدن یک صفحه بخاطر این هدر مسدود شده است. فقط کافیست URL خود را وارد کنید، سپس به دنبال Indexing allowed باشید که عبارت زیر مقابلش نوشته شده است یا خیر؟
No: ‘noindex’ detected in ‘X‑Robots-Tag’ http header”
3) صفحات سایت را در نقشه سایت قرار دهید
نقشه سایت به گوگل می گوید که چه صفحاتی در سایت شما مهم هستند و چه صفحاتی مهم نیستند. همچنین ممکن است راهنمایی هایی در مورد تعداد دفعات خزیدن مجدد آنها ارائه دهد.
گوگل باید بتواند صفحاتی را در وب سایت شما بیابد، صرف نظر از اینکه آیا آنها در نقشه سایت شما هستند یا خیر، اما هنوز هم تمرین خوبی است که آنها را درج کنید.
برای بررسی اینکه آیا یک صفحه در نقشه سایت شما وجود دارد، از ابزار inspection URL در کنسول جستجو استفاده کنید. اگر خطای «URL is not on Google» و «Sitemap: N/A» را مشاهده کردید، یعنی در نقشه سایت شما وجود ندارد یا ایندکس نشده است.
4) برچسب های canonical نامتعارف را حذف کنید
تگ canonical به گوگل می گوید که نسخه ترجیحی یک صفحه کدام است. چیزی شبیه این تگ زیر:
<link rel=”canonical” href=”/page.html/”>
اکثر صفحات یا فاقد تگ canonical هستند یا تگ canonical خود مرجع نامیده می شود. این تگ به گوگل می‌گوید که صفحه بهترین و احتمالاً تنها نسخه موجود است. به عبارت دیگر، شما می خواهید این صفحه ایندکس شود.
اما اگر صفحه شما دارای یک تگ canonical نامتعارف باشد. ممکن است به گوگل در مورد نسخه ترجیحی از این صفحه بگوید که وجود خارجی ندارد. در این صورت صفحه شما ایندکس نمی شود.
برای بررسی canonical ، از ابزار URL Inspection گوگل استفاده کنید. اگر canonical به صفحه دیگری اشاره کند، اخطار « Alternate page with canonical tag » را خواهید دید.
تگ های canonical همیشه بد نیستند. اکثر صفحات دارای این برچسب ها به دلایلی این تگ را دارند. اگر مشاهده کردید که صفحه شما دارای یک مجموعه canonical است، آن را بررسی کنید. اگر واقعاً این نسخه ترجیحی صفحه است و نیازی به ایندکس کردن صفحه مورد نظر نیست، باید تگ canonical باقی بماند.
5) وجود صفحات یتیم را بررسی کنید
صفحات یتیم صفحاتی هستند که پیوندهای داخلی به آنها اشاره نمی کند.
از آنجایی که گوگل محتوای جدید را با خزیدن در وب کشف می کند، و نمی تواند صفحات یتیم را از طریق این فرآیند کشف کند. بنابراین بازدیدکنندگان وب سایت نیز نمی توانند آنها را پیدا کنند.
6) لینک های داخلی nofollow را اصلاح کنید
لینک های Nofollow لینک هایی با برچسب rel=“nofollow” هستند. آنها از انتقال PageRank به URL مقصد جلوگیری می کنند. ربات گوگل لینک های nofollow را دنبال نمی کند.
گوگل در زمینه می گوید:
استفاده از nofollow باعث می شود که پیوندهای هدف را از نمودار کلی وب خود بطور کلی حذف کنیم. با این حال، اگر سایت‌های دیگر بدون استفاده از nofollow به آنها پیوند دهند، یا اگر URLها در نقشه سایت به Google ارسال شوند، ممکن است صفحات هدف همچنان در فهرست ما نمایش داده شوند.
به طور خلاصه، باید مطمئن شوید که تمام پیوندهای داخلی به صفحات قابل ایندکس شدن دنبال می شوند.
7) پیوندهای داخلی قدرتمند ایجاد کنید
گوگل با خزیدن در وب سایت شما محتوای جدیدی را کشف می کند. اگر از پیوند داخلی به صفحه مورد نظر غفلت کنید، ممکن است نتواند آنها را پیدا کنند.
یکی از راه حل های آسان برای این مشکل اضافه کردن چند لینک داخلی به صفحه است. می توانید این کار را از هر صفحه وب دیگری که Google می تواند بخزد و فهرست کند، انجام دهید. با این حال، اگر می‌خواهید Google صفحه را در سریع‌ترین زمان ممکن ایندکس کند، منطقی است که این کار را از یکی از صفحات قدرتمندتر و با ارزش تر خود انجام دهید.
چرا؟ چون احتمالاً گوگل چنین صفحاتی را سریعتر از صفحات کم اهمیت تر بررسی می کند.
8) مطمئن شوید که صفحات سایت با ارزش و منحصر به فرد هستند
بعید است که گوگل صفحات با کیفیت پایین را ایندکس کند زیرا برای کاربرانش ارزشی ندارند. در اینجا آنچه جان مولر از گوگل در مورد ایندکس کردن در سال 2018 گفت را باهم می بینیم :
ما هرگز همه URL های شناخته شده را ایندکس نمی کنیم، این کاملا طبیعی است. من روی عالی و الهام بخش ساختن سایت تمرکز می کنم، اینگونه همه چیز بهتر پیش می رود.
او اشاره می کند که اگر می خواهید گوگل وب سایت یا صفحه وب شما را ایندکس کند، باید “عالی و الهام بخش” باشد.
9) صفحات با کیفیت پایین را حذف کنید
داشتن تعداد زیاد صفحات با کیفیت پایین در وب سایت شما فقط باعث هدر رفتن بودجه خزیدن می شود.
آنچه گوگل در این باره می گوید:
هدر دادن منابع سرور در [صفحات با ارزش افزوده کم] فعالیت خزیدن را از صفحاتی که واقعاً دارای ارزش هستند تخلیه می کند، که ممکن است باعث تاخیر قابل توجهی در کشف محتوای عالی در یک سایت شود.
گوگل می گوید «بودجه خزیدن چیزی نیست که اکثر ناشران باید نگران آن باشند» و «اگر سایتی کمتر از چند هزار URL داشته باشد، در بیشتر مواقع به‌طور مؤثر بررسی می‌شود».
10) بک لینک های با کیفیت بالا بسازید
بک لینک ها به گوگل می گویند که یک صفحه وب چقدر مهم است. از این گذشته، اگر کسی به آن لینک می دهد، باید مقداری ارزش داشته باشد. اینها صفحاتی هستند که گوگل علاقه دارد تا آنها را ایندکس کند.
برای روشن شدن ، گوگل فقط صفحات وب با بک لینک با کیفیت را ایندکس نمی کند. تعداد زیادی (میلیاردها) صفحه ایندکس شده بدون بک لینک وجود دارد. با این حال، از آنجایی که گوگل صفحاتی با لینک‌های باکیفیت را مهم‌تر می‌بیند، احتمالاً این صفحات را سریعتر از صفحات بدون پیوند بررسی و دوباره بررسی می کند. که منجر به ایندکس کردن سریعتر می شود.