מנוע החיפוש של גוגל מצוייד בזחלנים [המכונים: Google crawlers ולעיתים עכבישים - Google Spider או בוטים - Googlebot]
מדובר בסוג של אוטומציות, שתוכנתו לבצע סט של פעולות. והם זוחלים מעת לעת באתרים, כדי לבחון שינויים ועדכונים שהכנסנו לאתר שלנו.
איך גוגל סורק את האתר שלנו?
הזחלן סורק ומעבד את הנתונים שמצא בכל עמוד. מדרג את רמת האיכות שלהם. וכך הוא "יודע" להציג לגולשים את התוצאות הטובות ביותר, בזמן הקצר ביותר.
תהליך הזחילה [גילוי כתובת ה-URL] מתבצע באופנים שונים:
1. "מעקב" אחרי קישורים [פנימיים וחיצוניים].
2. "קריאת" קובץ מפת אתר [XML] דרכו אנו שולחים לגוגל את העמודים שאנו חפצים שיאנדקס.
3. "צפיה" בנפח התעבורה.
4. "התרשמות" מאזכורים ברשתות החברתיות.
למעשה כאשר האלגוריתם "מגלה" קישור חדש, או עדכון חדש בעמוד קיים, הוא נכנס וסורק את המידע הטרי ומאנדקס אותו ב"מאגר המידע" של מנוע החיפוש, וכאשר גולשים מתעניינים במידע הזה, מנוע החיפוש מציג להם אותו.
לאחר סריקת העמוד, גוגל מעבדת ומנתחת את התוכן [- הטקסטים, התגיות וכל האלמנטים הקיימים בו], כדי "להבין" את המידע המרכזי המוצג בעמוד ולצרף את העמוד לאינדקס שלה.
במהלך ההוספה של העמוד לאינדקס, "מחליט" הבוט אם התוכן המופיע בעמוד הוא שיכפול של עמוד דומה ברשת, או שמדובר בעמוד מקורי, בעל תוכן איכותי ומשמעותי עבור הגולשים.
בשלב הבא גוגל "מקבצת" את העמודים בעלי התוכן הדומה ברשת, ואוספת אותם למעין "קבוצה כללית". מתוכה "יבחרו" העמודים האיכותיים והטובים ביותר, והם אלה שהיא תציג בתוצאות החיפוש.
העמודים האחרים ישמרו באינדקס כגירסא חליפית, שתוצג רק לגולשים שמחפשים ספציפית את העמודים האלה.
גוגל מסבירה כי היא סורקת מליארדי עמודים ברשת, וההחלטה לקבוע אילו אתרים תסרוק, באיזו תדירות, כמה עמודים תסרוק בכל אתר, ואת קצב מהירות הסריקה באתר היא מבססת על תגובות האתר. [כלומר: האם העמודים פתוחים לאינדוקס, אינם מכילים תוכן משוכפל שכבר נסרק בעבר, ולא קיימים בהם שגיאות וכד'].
תקציב זחילה - Crawl Budget
נתון זה מתייחס למספר העמודים שסרק ואינדקס הבוט של גוגל באתר בפרק זמן נתון.
גוגל משקיעה "תקציב זחילה" באיתור מידע חדש ועמודים חדשים.
במילים אחרות: "תקציב הזחילה" שגוגל משקיעה באתר שלנו, תלוי בתדירות השינויים והעדכונים שאנחנו ערכנו באתר, ברמת הפופולריות שלו, חוויית המשתמש שהוא מנפק לגולשים, נוחות הגלישה במובייל, איכות הקישורים, איכות התוכן, מהירות הטעינה, רמת האבטחה, נגישות, ובעוד מאות פרמטרים רבים נוספים [עליהם כתבתי לא פעם].
בעברית פשוטה ועממית איך גוגל סורק את האתר שלנו:
תדירות הסריקה של גוגל מותאמת ונעשית בהלימה מלאה לשינויים ולעדכון האתר שלנו.
כלומר: ככל שהאתר שלנו בנוי נכון, ואנו נעדכן אותו בתדירות גבוהה, ובמידע איכותי מקורי וחיוני, כך "נאותת" לזחלנים של גוגל והם יגיעו לביקורי סריקה בתדירות גבוהה יותר.
יש להניח, בסבירות גבוהה, כי אתרי חדשות בארץ ובעולם נסרקים בתכיפות גבוהה בכל יום [ואולי גם בכל שעה. אין לדעת].
איך מנוע החיפוש מדרג אתרים?
גוגל מצהירה כי לא כל עמוד שעבר עיבוד מתווסף לאינדקס אוטומטית. ההוספה לאינדקס תלויה בתוכן ובנתוני הדירוג של האתר.
כלומר: הצגת המידע מהאתר בתוצאות החיפוש, תלויה בציון הדירוג שקיבלנו מהזחלן.
עוד מציינת גוגל ומדגישה כי: תדירות סריקת האתר, כמו גם דירוגו במיקומים גבוהים ברשת, אינם ניתנים על ידה תמורת תשלום.
כלומר: קמפיינים ממומנים אמנם יעלו את האתר לראש פירמידת התוצאות, אך עניין זה אינו מעיד על איכות דירוג גבוהה שלהם, ובוודאי שלא מצביע על תדירות סריקה תכופה ....
יתרה מזאת – למרבה הדאבה, גוגל מבהירה כי היא אינה מתחייבת לסרוק או להוסיף לאינדקס שלה עמודים, גם אם הם עומדים בכל הפרמטרים שקבעה.
גוגל מבצעת מספר פעמים בשנה שיפורים מהותיים בתהליכי הדירוג אותם היא מכנה "עדכוני ליבה". עדכוני הליבה הם שינויים שנועדו לדבריה לשפר את החיפוש ברשת.
תדירות עדכוני האלגוריתמים משפיעה כמובן על כך שהתשובה לשאלה איך מדרג מנוע החיפוש את האתרים, אינה חד משמעית, והיא עצמה משתנה מעת לעת.
ובכל זאת
נכון להיום קיימים למעלה מ-300 פרמטרים [המופיעים בהנחיות של גוגל] שעוזרים לגוגל לשקלל את דירוגם של האתרים השונים ולהחליט כיצד להציג אותם בתוצאות החיפוש.
הזחלנים מבצעים הערכה, המשקללת את מאות הפרמטרים ועל סמך זה מציגים [או לא] את האתר בתוצאות החיפוש.
גוגל מצהירה כי החיפוש מתבצע בשלושה שלבים, ולא כל העמודים עוברים את כל השלבים:
1. סריקה – גוגל מסירה תוכן [טקסט, תמונות וסרטונים] מעמודים באמצעות תוכנות אוטומטיות [מיודעינו - הבוטים].
2. ניתוח ואינדוקס - גוגל מנתחת את התכנים ומאחסנת את המידע במסד הנתונים שלה [באינדקס].
3. חשיפה - גוגל מציגה לגולשים מידע רלוונטי לחיפושים שלהם ברשת.
יחד עם זאת, חשוב מאד לזכור שתאוותו ושאיפתו העיקרית של מנוע החיפוש היא להציג את התוצאות הטובות ביותר במהירות הרבה ביותר לגולש.
המשמעות היא שגוגל תציג תוצאות שונות לאנשים שונים. כי אנשים שונים, אוהבים ומתעניינים בדברים שונים, גולשים ומחפשים ממקומות שונים וממכשירים שונים, והאלגוריתם של גוגל "לומד" ומתחקה אחרי העדפותיו ומאווייו של כל בן אנוש ...
הרלוונטיות של התוכן, גורסת גוגל, נקבעת ע"י מאות גורמים, בהם: מיקום הגולש, המכשיר ממנו גלש, תחומי העניין שלו, השפה בה הוא משתמש ועוד.
לְמָה הִתְכַּוֵון הַמְּשׁוֹרֵר?
גוגל, חשוב להגיד, מנסה לפענח את החיפושים שלנו, של כל אחת ואחד מאיתנו, ולהבין מה משמעותם - למה התכוון המשורר, ובמקרה הזה - למה התכוון כל אחד ואחת מאיתנו?
האלגוריתם, מבוסס הבינה המלאכותית ומושתל המח, "למד" להבין לא רק מה אנחנו מחפשים, אלא למה אנחנו מתכוונים. ולאן אנחנו חותרים.
העניין הזה הוא מהותי. כי הוא מצמצם ואפילו מייתר, כמעט לחלוטין, את השימוש בביטויי מפתח.
האלגוריתם האינטליגנטי שלה סורק את העמודים באתר שלנו ו"מפנים" מה יש בהם. למי הם מתאימים. ולמי כדאי להציג אותם. הוא מפעיל מערכת "שיקולים" ומקבל החלטות הרות גורל עבורנו.
על איזה בסיס הזחלנים מדרגים אתרים?
יש להניח שחוויית המשתמש, כך על פי הצהרותיה של גוגל, הוא המדד העיקרי, ואולי אפילו החשוב ביותר.
אלא ש ... חוויית המשתמש הוא תחום רחב ומסועף, הכולל בתוכו: נוחות גלישה מניידים, מהירות טעינת האתר, תוכן רלוונטי, מקורי ומעניין, הנגשה, ויזואליות [נראות] טובה, מבנה היררכי נכון, זמני שהייה, אחוזי נטישה נמוכים ועוד ועוד ועוד.
איך נוכל להמריא ולטפס מעלה בדירוג?
לגוגל יש מספר כלים חינמיים, המספקים לנו נתונים על האתר, ומאפשרים לנו לשפר את ביצועיו ולקדם אותו ברשת.
1. כלי Google search console - המסייע לנו למצוא את התוכן הפופולרי באתר שלנו, שגיאות הקיימות באתר, הטמעת מפת אתר, ולראות אילו עמודים אונדקסו במנוע החיפוש.
יחד עם זאת, ראוי לציין כי כאשר איכות התוכן אינה רלוונטית או ירודה, אזי גם עמוד שמופיע ב- Google search console, כאילו נוסף לאינדקס, לא יחשף בתוצאות החיפוש.
2. כלי נוסף הוא Google analytics - המעניק לנו שפע נתונים חשובים על מספר המבקרים באתר, אחוזי הנטישה, זמני השהייה שלהם באתר, מאין הגיעו, מאילו מכשירים גלשו ועוד.
האם גוגל משתמשת בבוטים שונים לכל תחום?
התשובה היא כן. כנראה.
ג'ון מולר, מי ששימש עד לאחרונה כאנליסט הבכיר של גוגל, השיב על כך לפני כשנתיים בראיון ואישר כי האלגוריתם של גוגל מטפל בתכנים שונים באופן שונה. אולם גוגל, הוא מבהיר, אינה מתייחסת לתחומים שונים באופן שונה.
לדוגמא הוא מציין כי: "ההתייחסות של האלגוריתמים לחנויות סחר שונות, היא זהה.
בתרגום חופשי של דבריו: "באתר של חנות אופניים אין אלגוריתמים שונים לחלוטין מאלה שסורקים אתר של חנות נעליים. שני האתרים הם בעצם אתרי חנויות מסחריים".
להלן קטע מההסבר של מולר:
"So, I don’t think we have anything specific with regards to different niches. But obviously different kinds of content is differently kind of like critical to our search results.
And if you look at something like our Quality Raters Guidelines, we talk about things like Your Money Your Life sites, where we do kind of work to have a little bit more critical algorithms involved in the crawling and indexing and ranking.
But it’s not the case that you would say like a bicycle shop has completely different algorithms than,I don’t know, a shoe store for example. They’re essentially both ecommerce type stores".
בהצלחה רבה,
ואם יש לך צורך בעזרה, אפשר לפנות אלי. אשמח לדבר איתך ולתת לך הצעת מחיר מדוייקת לביצוע העבודה.
אני זמינה בטלפון: 054-3050581 בימים א' עד ה' מהשעה 9:00 עד 18:00 רצוף.