איך מנועי AI קוראים אתרי אינטרנט?

איך מנועי AI  קוראים אתרי אינטרנט?

התשובה הקצרה לשאלה איך מנועי AI  קוראים אתרי אינטרנט, היא שמנועי ה-AI קוראים אתרי אינטרנט באופן טכני.

התשובה המפורטת היא: מנועי AI קוראים אתרי אינטרנט באמצעות סריקת קוד ה-HTML, חילוץ התוכן המרכזי והמרת הטקסט ל-Embeddings [הטמעות], שהם מעין ייצוגים מתמטיים של משמעות.

לאחר מכן המערכות מאחסנות את המידע במסדי נתונים וקטוריים [Vector Databases, שהם למעשה מרחבים רב־ממדיים, בהם כל פיסת תוכן מיוצגת כנקודה]. כך נוצר מעין פרופיל או מפת משמעויות, שממקמת מושגים קרובים או דומים אחד ליד השני, ומאפשרת לאתר קטעים רלוונטיים למענה על שאלות הגולשים.

בפועל מתרחשת שרשרת של שלבים טכנולוגיים: סריקה, חילוץ התוכן, פירוק למקטעים, המרה לייצוג מתמטי וחיפוש לפי משמעות.

1. סריקת האתר [Crawling]

בדומה למנועי חיפוש, גם מערכות AI שולחות בוטים לאתר. [למשל: GPTBot של OpenAI, מייקרוסופט משתמשת ב-Bingbot, ואנטרופיק שולחת את ClaudeBot].

הבוט אוסף את המידע הגולמי. הוא סורק את האתר, נכנס לקישור [URL], קורא את קובץ ה- HTML, עוקב אחרי קישורים פנימיים ובונה מפה של האתר.

2. חילוץ התוכן [Content Extraction] מתוך ה-HTML

אפשר לומר שהמערכת מפרידה בין: תוכן מרכזי, ניווט, פרסומות, האדר, פוטר ותפריט. ומאנדקסת אותם.

האלגוריתם למעשה "פולה" אלמנטים כמו: כותרות, פסקאות, סקשנים, היררכיית מידע מתוך ה-HTML, ומכאן חשיבותו הרבה של מבנה HTML ברור.

חשוב לציין שמנועי ה-AI נשענים על נתונים מובנים [Schema Markup], כדי להבין בוודאות מה השירות, מה מחירו, מהו הדירוג ומה השאלה.

3. פירוק למקטעים [Chunking]

מודלי AI לא עובדים על עמוד שלם. עמוד של 2,000 מילים יכול להפוך למשהו כמו: 30-40 מקטעים. המודלים מחלקים את העמוד למקטעים; סעיפים, פסקאות, רשימות, תשובות, כך שכל מקטע הוא יחידת ידע עצמאית.

4. המרה ל-Embeddings

זה החלק המרכזי בטכנולוגיה. כל מקטע של טקסט מומר ל-וקטור מספרי, שנקרא Embedding [=זה למעשה יצוג מתמטי של משמעות הטקסט]. משפטים בעלי משמעות דומה ישוייכו או "ישוכנו" בסמוך לאותו מרחב מתמטי.

5. אחסון המידע במסד נתונים וקטורי

האלגוריתם שומר את המידע שאסף והטביע [Embeddings] במסד נתונים מיוחד ב-Vector Database, המאפשר חיפוש לפי משמעות, ולא רק לפי מילים. כלומר: האלגוריתם ידע להבין את כוונת המשתמש. הם מבינים שביטויים כמו: "בניית אתרים" ו"פיתוח אתרים" או "עיצוב אתר" קשורים, גם אם לא כתבנו בדיוק את אותו ביטוי.

לשאלה כמו איך אקדם את האתר שלי ב-AI?, המערכת תדע למצוא קטעים עם משמעות דומה, כמו למשל: אופטימיזציה למנועי AI, או GEO, ו- AI SEO. וכו'.

6. שליפה בזמן אמת [Retrieval]

כאשר גולש שואל שאלה במנועי AI, מתרחש תהליך RAG – Retrieval Augmented Generation כלומר: שליפה משודרגת של המידע.

למעשה, השאלה מומרת ל-Embedding, המערכת מחפשת קטעים דומים במסד הנתונים, שולפת אותם, ומודל השפה מייצר מהם מענה. זו הסיבה שלעיתים מוצג בתשובה גם קישור למקור ממנה נלקח המענה.

7. יצירת התשובה

מודל השפה קורא את הקטעים שנשלפו. הוא לא מעתיק עמוד שלם, אלא משתמש בקטעי מידע, מסכם אותם, משלב את המידע ממספר מקורות עם הידע שלו, ומייצר תשובה טבעית וברורה.

8. ומה לגבי תמונות? [Visual AI]

   
   

מנועי החיפוש המסורתיים [כמו: גוגל ו-ו Bing] הם “עיוורים” במובן הוויזואלי: הם לא חווים עיצוב, צבעים או חוויית משתמש, כפי שאנחנו רואים אותם. במקום זאת, הם מנתחים את מבנה הדף, התוכן והמשמעות הסמנטית שלו.

עם זאת, הם לא מסתמכים רק על טקסט אלטרנטיבי [Alt Text], אלא הם משלבים גם: הקשר טקסט סביב התמונה, שמות קבצים, נתונים מובנים [Structured Data] ובאופן חלקי גם טכנולוגיות זיהוי תמונה.

לעומתם, מנועי AI ומערכות מתקדמות כמו ChatGPT, Claude, Gemini ושות' משתמשים בראייה ממוחשבת [Computer Vision], שמאפשרת להם לנתח תמונות באופן ישיר, לזהות אובייקטים, לקרוא טקסט מתוך תמונה, להבין הקשרים ואפילו לזהות סגנון ויזואלי. כלומר: הן לא רק "קוראות", הן בהחלט גם "רואות".

זיהוי אובייקטים וטקסט [OCR]

ה-AI מזהה אלמנטים בתוך התמונה [כמו מוצרים, חיות, צמחים, אנשים] ואפילו מסוגל לקרוא טקסט שמופיע ע"ג התמונה.

הקשר ויזואלי

המנוע הופך את התמונה ל-Embedding [ייצוג מתמטי], בדיוק כמו הטקסט, ומבין את ה"מהות" שלה. אם התמונה משדרת מקצועיות או סוג של מתכון, ה-AI יחבר אותה לנושאים האלו [יש להניח גם אם לא נכתוב דבר...].

החשיבות של Alt Text

למרות שה-AI חכם, הוא עדיין משתמש ב-Alt Text , כדי לאמת את מה שהוא רואה. תיאור תמונה מדויק עוזר למנוע להבין שהתמונה אכן רלוונטית לשאלה של הגולש. [ובל נשכח את סורקי המסך בהם משתמשים עיוורים].

קיימות 2 דרכים שונות, בהן מנועי AI משתמשים בתוכן האתר שלנו:

1.      דרך אחת היא בשלב האימון. כלומר - לא בזמן אמת:

המידע מהאתר נשאב למאגר ענק ["מרכז הזיכרון"] של הבינה המלאכותית, ומשמש לבניית המודל.

המודל לא זוכר את המקור, אלא לומד דפוסים. בתהליך הלמידה, הנתונים שנאספים הם מעין משתנים, שמתעדכנים כל העת, כדי לשפר את הדיוק שלו.

2.      דרך שניה היא אחזור בזמן אמת [RAG]:

מנוע ה-AI מחפש במקור חיצוני - אתר, קורא את התוכן ומסכם אותו למשתמש. כך שלמעשה האתרים שלנו מהווים מקור מידע חי.

מה המשמעות של זה לאופטימיזציה?

המשמעות ל-SEO היא שבעידן ה-AI האתר כבר לא מתחרה רק על דרוג גבוה, אלא על קטעי מידע ברורים.

לכן תוכן שעובד טוב עבור AI כולל: פסקאות קצרות, כותרות ברורות, רשימות, הגדרות תקינות ורצוי גם שאלות ותשובות.

מנועי החיפוש המסורתיים [כמו גוגל ושות'] עדיין מדרגים עמודים שלמים, ואילו מנועי ה-AI מצטטים בפועל פסקאות ומקטעי מידע בתוך עמודים.

בעוד שהאלגוריתם המסורתי של גוגל הציג בעבר הלא רחוק 'קטעים נבחרים' [Featured Snippets],היום גוגל עברה להשתמש ב-AI Overviews [ה-SGE בגלגולו הקודם - Search Generative Experience]. מנועי ה-AI משתמשים במקביל בטכניקה המכונה לעיתים AI Featured Snippet. [כלומר: תשובה שהמנוע מסכם ומייצר בעצמו מתוך מספר מקורות]

לסיכום:

 מדובר בשינוי דרמטי באסטרטגיית התוכן, שדורש מאיתנו לעבור מחשיבה על דירוג העמודים, לחשיבה על ניסוח תשובות בהירות ומדוייקות.

אז מה עושים מחר בבוקר?

בודקים שה-H1 וה-H2 שלנו באמת עונים על שאלות.

מוודאים שכל פסקה יכולה לעמוד כיחידת מידע עצמאית.

מטמיעים Schema בסיסית [FAQ, Product או Service].

האם האתר שלך קריא וברור גם לבני אדם וגם למערכות ה-AI? אפשר לפנות אלי לבדיקה והתאמה של האתר לעידן החדש.

את התמונות התבוניות יצר כמובן ה-AI של Cloud code וכל הזכויות בהחלט שמורות לו.