آیا می‌دانید موتورهای جستجویی مانند گوگل، چگونه در بین میلیون‌ها صفحه وب سایتی که وجود دارند، به جستجو در بین آن‌ها می‌پردازند و به آن‌ها امتیاز می‌دهند، تا بتوانند به ازای پرس و جو که شما تایپ می‌کنید نتایجی را برای شما به نمایش بگذارند؟

با اینکه جزییات این فرآیند بسیار پیچیده می‌باشد، اما دانستن اطلاعات پایه درباره چگونگی خزیدن و جستجو بین سایت‌ها، فهرست کردن (index) آن‌‌ها و چگونگی امتیازدهی به آن‌ها می‌تواند به شما پیش‌زمینه‌ای درباره استراتژی‌های بکار گرفته شده در پشت صحنه هر موتور جستجو بدهد.

تعهدی عظیم

در حال حاضر که این مقاله نوشته می‌شود، گوگل اظهار می‌کند بیش از ۱۳۰ تریلیون صفحه وب را در این راستا می‌شناسد البته ممکن است خیلی بیشتر از این عدد نیز باشد. صفحات بسیاری وجود دارند که بنابه دلایلی گوگل آن‌ها را کنار گذاشته و عملیات جستجو، نشانه‌گذاری و امتیازدهی را بر روی آ‌ن‌ها انجام نمی‌دهد.
از آنجایی که موتورهای جستجو همانند گوگل سعی دارند نتایجی مرتبط با درخواست‌های کاربران خود را ارائه دهند، برای آن‌ها فرآیندهای لازم به خوبی تعریف شده‌اند تا قادر باشند بهترین صفحات وب را با توجه به پرسش تایپ شده کاربران خود ارائه دهند.
این فرآیندها در طول زمان تکامل یافته تا بتوانند نتایجی هر چه بهتر را فراهم کنند.
برای آشکار شدن این موضوع ما تلاش کردیم تا بتوانیم به سوال زیر پاسخ بدهیم:
- نتایج جستجوی گوگل چگونه کار می‌کنند؟
بطور خلاصه این فرآیند شامل مراحل زیر خواهد بود:
- خزیدن و جستجو کردن: دنبال کردن لینک‌ها جهت یافتن صفحات مهم در وب
- فهرست کردن: ذخیره کردن کلیه اطلاعات مربوط به صفحات وب بدست آمده برای رجوع‌های بعدی
- امتیازدهی: مشخص کردن آن‌که هریک از آن صفحات وب درباره چه موضوعی هستند و چگونه به آن‌ها امتیاز بدهد تا در نتایج درخواست‌های مرتبط ظاهر شوند.
اجازه بدهید به توضیح واضح‌تری برای هریک از مراحل گفته‌شده بپردازیم:

خزیدن و جستجو کردن دربین صفحات وب

موتورهای جستجو دارای ربات‌هایی تحت عنوان "خزنده” می‌باشند که وظیفه آن‌ها خزیدن در بین صفحات وب و تشخیص بهترین صفحات وب موجود برای ارزیابی پرسش و جوی کاربران می‌باشد.
روش کار این خزنده یا بهتر بگوییم مسیر پیمایش این خزنده لینک‌های یک وب‌سایت خواهند بود.
لینک‌های وب سایت، صفحات وب سایت را کنار یکدیگر نگه می‌دارند. وب سایت‌ها در سراسر وب، مسیری را با توجه به لینک‌های خود بوجود می‌آورند که خزنده می‌تواند به کمک پیمایش این مسیر به میلیون‌ها صفحه وب‌سایت متصل بهم، دست‌یابد.
نظرتون درباره یک مثال تصویری چیه؟
در شکل زیر شما می‌توانید تصویری از صفحه نخست وب‌سایت ستروکیت را ببینید.

زمانی که ربات خزنده به این صفحه نگاه می‌کند، به مدل شیء گرای سند(‌DOM) در هر صفحه نگاهی می‌اندازد تا بفهمد این صفحات شامل چه می‌شوند؟ مدل‌های شئ‌گرای هر صفحه وب کدهای HTML و JAVA SCRIPT آن می‌باشند که خزنده آن‌ها را بررسی می‌کند تا بتواند لینک‌های صفحات دیگر را بیابد.
مثالی از این مطلب در کادر قرمزرنگ تصویر بالا نشان داده‌شده‌است. این روند به ربات‌های خزنده اجازه خواهد داد تا بتوانند صفحات جدید وب را پیدا کنند و هر لینک جدیدی که در این روند جستجو یافت شود در داخل صفی در داخل پایگاه داده آن‌ها قرار خواهد گرفت تا بعدا توسط خزنده‌ها بازدید شوند.
خزیدن روزانه در بین صفحات وب، تعهد و عملکرد بسیار سنگینی است، از این‌رو گوگل خزنده‌های خود را در طول هفته‌ها در بین صفحات وب پخش می‌کند. بعلاوه موتورهای جستجویی همانند گوگل، همان طور که در ابتدای مقاله گفته شد تمام صفحات وب یا بهتر بگوییم هر صفحه موجود در وب را مورد جستجو قرار نخواهد داد.
در عوض آن‌ها کار خود را با مجموعه‌ای از وب‌سایت‌های قابل اعتماد شروع خواهند کرد و آن‌ها را مبنایی برای سنجش دیگر وب‌سایت‌ها قرار خواهند داد و با بازدید از لینک‌های آن‌ها، خزندگان خود را در بین وب گسترش خواهند داد.

ایندکس داده‌ها

ایندکس کردن به معنای ذخیره اطلاعاتی مربوط به یک صفحه وب در فهرست موتور جستجو می‌باشد. ایندکس، مجموعه‌ای از صفحات وب – پایگاه داده – است که شامل اطلاعاتی در مورد کلیه صفحاتی که توسط خزنده‌ها مورد بررسی قرار گرفته‌اند می‌باشد.

ساختار و سازمان ایندکس:

- اطلاعات دقیق درمورد ماهیت هر محتوا و ارتباط موضوعی هر صفحه وب
- نقشه ای از تمام صفحاتی که هر صفحه به آن‌ها لینک شده‌است
- نوشته‌هایی که لینک شده‌اند
- اطلاعاتی بیشتر در مورد لینک‌ها، آیا آن‌ها تبلیغ هستند یا خیر، آن‌ها در کدام بخش از صفحه قرار گرفته‌اند، صفحه‌ای که در ازای لینک به‌ آن میرسیم چه مضمون و مفهومی دارد.
و خیلی مطالب بیشتر …
ایندکس بانک اطلاعاتی هر موتور جستجو همانند گوگل است که زمانی که کاربران پرس و جویی را در آن‌ها تایپ می‌کنند، اطلاعات را از آن بازیابی خواهند کرد.
قبل از اینکه موتور جستجو تصمیم بگیرد چه ایندکسی و طبق چه ترتیبی برای کاربر نمایش داده‌شود، الگوریتمی را اجرا خواهد کرد که به امتیاز دهی آن صفحات وب کمک خواهد کرد.

امتیاز دهی نتایج

به منظور نمایش نهایی نتایج موتورهای جستجو، موتورهای جستجو باید چند گام مهم را انجام دهند:
۱ – تفسیر قصد پرس و جوی کاربر
۲- تشخیص صفحات وب ایندکس شده که باپرس و جوی کاربر مرتبط هستند
۳- امتیازدهی آن صفحات وب با توجه به اهمیت و ارتباط آن‌‌ها
این‌جا یکی از بخش‌های بزرگی‌ است که بحث بهینه‌سازی موتورهای جستجو به میان می‌آید. سئوی خوب و تاثیر گذار به اهمیت و ارتباط آن‌ها برای پرسش مطرح شده کمک زیادی خواهد کرد.
ارتباط و اهمیت به چه معناست؟

ارتباط:

به درجه‌ای از تطابق محتویات یک صفحه وب با منظور جستجوکننده ارتباط می‌گویند. (قصد و منظور در واقع آن چیزی است که کاربر قصد دارد آن را توسط این جستجو به انجام برساند که انجام این وظیفه برای موتورهای جستجو اصلا وظیفه کوچکی نیست )

اهمیت:

صفحات وبی پر اهمیت می‌باشند که در جاهای بیشتری ذکر شده‌باشند. (یا به عبارتی قرارگیری صفحات وب می‌تواند رای اعتمادی برای آن‌ها باشد.) معمولا این اهمیت توسط لینک‌هایی که به آن صفحه داده شده‌اند جلوه می‌کند اما باید درنظر داشت که عوامل دیگری نیز وجود دارند که می‌توانند نقش بسیار مهمی را در این موضوع ایفا کنند.
برای اینکه موتورهای جستجو بتوانند میزان اهمیت و ارتباط صفحات وب را با پرسش مطرح شده تعیین کنند، الگوریتم‌های بسیار پیچیده‌ای را بکارمی‌گیرند که با بررسی صدها معیار این درجه اهمیت و ارتباط را مشخص می‌کنند.
معمولا این الگوریتم‌ها نحوه عملکرد موتورهای جستجو را تغییر می‌دهند تا روند دستیابی آن‌ها به نتایجی بهتر برای کاربرانشان را بهبود بخشند. حتی اگر آن‌‌ها مدام در حال بهینه سازی باشند بازهم برخی از اصولی که موتورهای جستجو بدنبال آن هستند به خوبی درک شده‌اند.
اگرچه ما از لیست تمام معیارهایی که موتورهای جستجویی همانند گوگل در الگوریتم‌های خود بکار گرفته‌اند بی خبریم (که البته این محافظت بسیار خوبی است تا اسپمرها نتوانند سیستم جستجو را بازی دهند) اما موتورهای جستجو برخی از دانش‌های اصولی در این زمینه را منتشر کرده‌اند که ما می‌توانیم با بکارگیری آن‌ها به بروزترین استراتژی‌های بهینه سازی موتور‌های جستجو (SEO) دست‌یابیم.

منبع: طراحی وب سایت ستروکیت