בדקו אם האתר שלכם חסום לבינה מלאכותית
הכלי הזה בודק אילו סורקים של בינה מלאכותית חסומים באתר שלכם. אתם מדביקים כתובת, הוא קורא את קובץ ה-robots.txt של האתר, ומראה לכל סורק אם הוא חסום, חסום חלקית או פתוח, יחד עם השורה המדויקת שגרמה לכך והסבר בעברית מה היא עושה בפועל. בלי הרשמה ובלי להשאיר פרטים.
הבדיקה חינם, בלי הרשמה ובלי שדה אימייל. הכתובת שבדקתם לא נשמרת אצלי, היא רק מוחזקת בזיכרון לכמה דקות כדי לא להריץ את אותה בדיקה פעמיים.
למה זה משנה עכשיו
יותר ויותר אנשים מנסחים שאלה שלמה לעוזר AI במקום להקליד שתי מילות חיפוש בגוגל. כשזה קורה, העוזר מרכיב תשובה מתוך מקורות שהוא הצליח לקרוא, ואתר שחסום בפני הסורק שלו פשוט לא נמצא בערימה שממנה הוא בונה את התשובה.
זה לא אומר שנעלמתם, וזה בהחלט לא אומר שחסימה היא טעות. יש עסקים שיש להם סיבה טובה מאוד לא לתת לתוכן שלהם להיכנס לאימון של מודלים, וזו החלטה לגיטימית לחלוטין. מה שאני נתקל בו הרבה יותר הוא אתרים שחסומים בלי שאף אחד החליט על זה: שורה שהגיעה עם תבנית של תוסף, קובץ שהועתק מאתר אחר, או המלצה גורפת שמישהו נתן פעם ואף אחד לא חזר לבדוק. הכלי הזה נועד קודם כל להראות לכם מה כתוב אצלכם בפועל, כדי שההחלטה תהיה שלכם.
איך לקרוא את התוצאה
לא כל הסורקים עושים את אותו דבר, ולכן אותה חסימה בדיוק יכולה להיות חסרת משמעות במקרה אחד ויקרה מאוד במקרה אחר. הכלי מחלק אותם לשלוש קבוצות, וההבדל ביניהן הוא כל הסיפור.
סורקי אימון
אלה אוספים תוכן שישמש לאימון מודלים עתידיים. חסימה שלהם אומרת שהתוכן שלכם לא ייכנס לאימונים הבאים, והיא לא משנה את האופן שבו האתר שלכם מופיע בשירות עצמו. חשוב גם לדעת שמה שכבר נאסף בעבר לא נמחק בעקבות השורה הזאת.
סורקי חיפוש
אלה בונים את האינדקס שממנו העוזר שולף מקורות כשהוא עונה למישהו. כאן חסימה עולה בנראות, כי אתר שלא נמצא באינדקס לא יכול להיות מצוטט כמקור. אם אתם רוצים להופיע בתשובות, זו הקבוצה שכדאי לבדוק לפני כולן.
הבאה לפי בקשת משתמש
זו בכלל לא זחילה. כשמישהו מדביק את הכתובת שלכם בתוך שיחה ומבקש מהעוזר לקרוא אותה, נשלחת בקשה אחת לעמוד הספציפי הזה. זו גם הקבוצה שבה קובץ ה-robots.txt הכי פחות אפקטיבי, ועל כך בסעיף הבא.
הבלבול הנפוץ ביותר הוא בין שתי הקבוצות הראשונות אצל אותו ספק. לכל ספק גדול יש טוקן אחד לאימון וטוקן אחר לחיפוש. חסימת GPTBot מונעת אימון אצל OpenAI, אבל היא לא מוציאה אתכם מחיפוש של ChatGPT, כי לזה יש טוקן נפרד לגמרי. באותה צורה, חסימת Google-Extended נוגעת לאימון בלבד ואינה משפיעה על חיפוש גוגל הרגיל ולא מורידה אתכם משום דירוג.
מה שהקובץ הזה לא יכול לעשות
כדאי שתדעו את זה לפני שאתם מסתמכים על התוצאה: קובץ robots.txt הוא בקשה, לא מנעול. הוא מונח בשורש האתר, כל אחד יכול לקרוא אותו, והוא מסתמך כולו על כך שהצד השני יבחר לכבד אותו.
רוב הסורקים הגדולים אכן מכבדים אותו ומתעדים את זה בפומבי. אבל חלקם מתעדים במפורש את ההפך, בעיקר בקבוצת ההבאה לפי בקשת משתמש, שם כמה ספקים כותבים בעצמם שהכללים עשויים לא לחול. יש גם מקרים שנמדדה בהם זחילה למרות חסימה, לעיתים תוך מחלוקת עם הספק. בכל אחד מהמקרים האלה הכלי מציין זאת ליד פסק הדין, כדי שלא תסיקו מהמילה "חסום" יותר ממה שהיא באמת אומרת.
שורה זו מביעה העדפה בלבד. חסימה אמיתית דורשת כלל בשרת או ב-WAF.
אני מעדיף שתדעו את זה מראש, ולא אחרי שתגלו בלוגים תעבורה ממקור שהייתם בטוחים שחסמתם.
בקובץ שלכם הסורק הזה מוזכר בלי אף כלל שמגביל אותו, ולפי התקן זה אומר שהכל פתוח בפניו, גם אם כלים אחרים מציגים את המצב הזה כחסימה.
שאלות נפוצות
חסמתי את הכל. זה טוב או רע?
תלוי לגמרי במה שאתם רוצים. אם המטרה היא שהתוכן שלכם לא ישמש לאימון מודלים, חסימה גורפת עושה את העבודה ואין בה שום פסול. אם אתם מקווים שלקוחות ימצאו אתכם דרך עוזרי AI, חסימה גורפת עובדת נגדכם, כי היא מוציאה גם את סורקי החיפוש שמביאים אתכם לתשובות. רוב העסקים שאני נתקל בהם רוצים את השני ומגלים שהגדירו את הראשון.
למה כלי אחר הראה לי תוצאה אחרת?
לרוב בגלל מצבים שהתקן מגדיר במפורש אבל ספריות נפוצות מפרשות אחרת, כמו קבוצה שמופיעה בלי כללים אחריה. הכלי הזה הולך לפי מה שכתוב בתקן, ומציג לצד כל פסק דין את השורה המדויקת שגרמה לו, כדי שתוכלו לראות בעצמכם על מה ההחלטה מבוססת ולא להסתמך רק על מה שכתוב כאן.
ומה עם מנועים שלא מופיעים ברשימה?
הרשימה כוללת את הסורקים שאומתו מול תיעוד רשמי או מול מקור אמין. אם מנוע מסוים לא מופיע כאן, המשמעות היא שהוא לא אומת, ולא שהוא לא קיים. הרשימה מתעדכנת כשמתפרסם תיעוד חדש.
כדאי גם לזכור שהתחום הזה זז מהר. ספקים מוסיפים טוקנים חדשים, ולפעמים משנים שם לטוקן קיים ותומכים בישן עוד תקופה. לכן שם שמופיע אצלכם בקובץ ואינו ברשימה כאן הוא לא בהכרח שגיאה, ולפעמים הוא דווקא שם ישן שכדאי להשאיר לצד החדש עד שהמעבר מסתיים.
הכלי שומר את כתובת האתר שלי?
לא. הבדיקה רצה מול הקובץ הפומבי של האתר ואינה נשמרת. נרשם רק אירוע סטטיסטי אנונימי, בלי הכתובת שהזנתם.
גיליתי שאני חסום. מה עכשיו?
קודם כל להבין איזו קבוצה נחסמה, כי אצל חלק מהן אין מה לתקן. שווה גם לבדוק אם החסימה מגיעה מכלל שנכתב במיוחד לסורק הזה, או מכלל גורף שחל על כולם ותפס אותו בדרך אגב. השני הוא המקרה השכיח יותר, והוא גם זה שכמעט תמיד נכנס בלי כוונה. אם החסימה נכנסה בטעות, מדובר לרוב בשינוי של שורה אחת בקובץ. ואם היא נכנסה בכוונה, ייתכן מאוד שהיא עדיין נכונה עבורכם.
אם גיליתם כאן משהו שלא ציפיתם לו, זה בדיוק סוג הדבר שאני בודק כשאני ניגש לקידום אורגני של אתר. בדרך כלל מסתבר שזה לא הממצא היחיד שיושב שם בשקט. ⚠️ הכותרות בקובץ הזה נושאות סימון מבני (`## 4 · h2 · ...`). הסימון הוא הוראה לכם, לא חלק מהטקסט. הכותרת שעולה לעמוד היא מה שאחרי הנקודה האחרונה.
רוצים לדעת מה עוד יושב שם?
החסימות הן דבר אחד שאפשר לראות מבחוץ. יש עוד כמה, והם בדרך כלל לא במקום שמצפים לו.