תאריך פרסום: 14 במאי 2024, עדכון אחרון: 16 באוקטובר 2024
כשאנחנו יוצרים תכונות עם מודלים של AI באינטרנט, אנחנו לרוב מסתמכים על פתרונות בצד השרת למודלים גדולים יותר. זה נכון במיוחד לגבי AI גנרטיבי, שבו גם המודלים הקטנים ביותר גדולים פי אלף מהגודל החציוני של דף אינטרנט. אותו הדבר נכון גם לתרחישים אחרים של שימוש ב-AI, שבהם המודלים יכולים לנוע בין עשרות למאות מגה-בייט. מאחר שהמודלים האלה לא משותפים בין אתרים, כל אתר צריך להוריד אותם בזמן טעינת הדף. זה לא מעשי למפתחים ולמשתמשים.
אנחנו מפתחים ממשקי API לפלטפורמות אינטרנט ותכונות לדפדפן כדי לשלב מודלים של AI, כולל מודלים גדולים של שפה (LLM), ישירות בדפדפן. הגרסה היעילה ביותר של משפחת ה-LLM של Gemini היא Gemini Nano, שנועדה לפעול באופן מקומי ברוב המחשבים המודרניים, כולל מחשבים נייחים ומחשבים ניידים. בעזרת AI מובנה, האתר או אפליקציית האינטרנט שלכם יכולים לבצע משימות מבוססות-AI בלי שתצטרכו לפרוס או לנהל מודלים משלכם של AI.
כאן נסביר על היתרונות של AI מובנה, על תוכנית ההטמעה שלנו ועל הדרכים שבהן אפשר להפיק תועלת מהטכנולוגיה הזו.
הצצה מוקדמת
אנחנו צריכים את המשוב שלכם כדי לתכנן את ממשקי ה-API, לוודא שהם מתאימים לתרחישים לדוגמה שלכם, וכדי לעדכן את הדיונים שלנו עם ספקי דפדפנים אחרים לצורך סטנדרטיזציה.
כדאי להצטרף לתוכנית טרום-השקה (Preview) כדי לתת משו�� על רעיונות מבוססי-AI מובנים בשלב מוקדם, ולגלות הזדמנויות לבדוק ממשקי API שנמצאים בתהליך באמצעות יצירת אב טיפוס מקומית.
הצטרפו לקבוצת ההודעות הציבוריות למפתחי AI של Chrome כדי לקבל הודעה כשממשקי API חדשים יהיו זמינים.
היתרונות של AI מובנה למפתחי אתרים
בעזרת AI מובנה, הדפדפן מספק ומנהל מודלים בסיסיים ומודלים של מומחים.
בהשוואה לפיתוח AI משלכם בצד הלקוח, ל-AI מובנה יש את היתרונות הבאים:
- קלות הפריסה: כשהדפדפן מפרסם את המודלים, הוא מתייחס ליכולות של המכשיר ומנהל את העדכונים של המודל. כלומר, אתם לא אחראים להורדה או לעדכון של מודלים גדולים ברשת. אתם לא צריכים לפתור בעיות של פינוי מקום באחסון, תקציב זיכרון בסביבת זמן ריצה, עלויות הצגה ואתגרים אחרים.
- גישה לשיפור המהירות באמצעות חומרה: סביבת זמן הריצה של ה-AI בדפדפן מבוצעת אופטימיזציה כדי לנצל את מלוא החומרה הזמינה, בין אם מדובר ב-GPU, ב-NPU או בחזרה ל-CPU. כתוצאה מכך, האפליקציה יכולה להציג את הביצועים הטובים ביותר בכל מכשיר.
היתרונות של הפעלה בצד הלקוח
גישה מובנית ל-AI מאפשרת לבצע משימות AI בקלות בצד הלקוח, וכתוצאה מכך יש לה יתרונות משמעותיים:
- עיבוד מקומי של מידע אישי רגיש: AI מצד הלקוח יכול לשפר את רמת הפרטיות. לדוגמה, אם אתם עובדים עם מידע אישי רגיש, תוכלו להציע למשתמשים תכונות AI עם הצפנה מקצה לקצה.
- חוויית משתמש מהירה: במקרים מסוימים, אם תבטלו את הנסיעה הלוך ושוב לשרת, תוכלו להציע תוצאות כמעט מיידיות. AI בצד הלקוח יכול להוות את ההבדל בין תכונה קיימת לבין חוויית משתמש לא אופטימלית.
- גישה נרחבת יותר ל-AI: המכשירים של המשתמשים יוכלו לעבור חלק מעומס העיבוד בתמורה לגישה רבה יותר לתכונות. לדוגמה, אם אתם מציעים תכונות פרימיום של AI, תוכלו לקבל תצוגה מקדימה של התכונות האלה עם AI בצד הלקוח, ��די ��לק��חות פוטנציאליים יוכלו לראות את היתרונות של המוצר בלי שתצטרכו לשלם יותר. הגישה המשולבת הזו יכולה גם לעזור לכם לנהל את עלויות ההסקה, במיוחד בתהליכי שימוש של משתמשים שמתרחשים בתדירות גבוהה.
- שימוש ב-AI במצב אופליין: המשתמשים יכולים לגשת לתכונות ה-AI גם כשאין חיבור לאינטרנט. פירוש הדבר הוא שהאתרים והאפליקציות שלכם יכולים לפעול כצפוי אופליין או עם קישוריות משתנה.
AI היברידי: בצד הלקוח ובצד השרת
AI בצד הלקוח יכול לטפל במגוון רחב של תרחישים לדוגמה, אבל יש מקרים מסוימים שבהם נדרשת תמיכה בצד השרת.
AI בצד השרת הוא פתרון מצוין למודלים גדולים, והוא יכול לתמוך במגוון רחב יותר של פלטפורמות ומכשירים.
כדאי לשקול גישה משולבת, בהתאם לגורמים הבאים:
- מורכבות: קל יותר לתמוך בתרחישי שימוש ספציפיים ופשוטים באמצעות AI במכשיר. בתרחישי שימוש מורכבים, מומלץ להטמיע בצד השרת.
- עמידות: שימוש בצד השרת כברירת מחדל, ושימוש במכשיר כשהמכשיר במצב אופליין או כשהחיבור לא יציב.
- מעבר חלק לחלופה: תהליך ההטמעה של דפדפנים עם AI מובנה ייקח זמן, יכול להיות שחלק מהמודלים לא יהיו זמינים, ומכשירים ישנים או חלשים יותר עשויים לא לעמוד בדרישות החומרה להפעלה אופטימלית של כל המודלים. להציע למשתמשים האלה AI בצד השרת.
במודלים של Gemini, אפשר להשתמש בשילוב לקצה העורפי (עם Python, Go, Node.js או REST) או להטמיע באפליקציית האינטרנט באמצעות ערכת ה-SDK החדשה של Google AI ללקוח באינטרנט.
ארכיטקטורה וממשקי API לדפדפנים
כדי לתמוך ב-AI מובנה ב-Chrome, יצרנו תשתית לגישה למודלים בסיסיים ומודלים של מומחים להרצה במכשיר. התשתית הזו כבר מפעילה תכונות חדשניות בדפדפן, כמו עזרה בכתיבה.
אפשר לגשת ליכולות ה-AI המובנות בעיקר באמצעות ממשקי API למשימות, כמו Translator API או Summarizer API. ממשקי ה-API של המשימות נועדו להריץ הסקת מידע לפי המודל הטוב ביותר להקצאה.
ב-Chrome, ממשקי ה-API האלה מיועדים להפעלת היסק מול Gemini Nano עם כוונון מדויק או מודל מומחה. Gemini Nano תוכנן לפעול באופן מקומי ברוב המכשירים המודרניים, והוא מתאים במיוחד לתרחישי שימוש שקשורים לשפה, כמו סיכום, ניסוח מחדש או סיווג.
אנחנו מספקים גם ממשקי API לניסוי, כמו Prompt API, כדי שתוכלו להתנסות באופן מקומי ולשתף תרחישים נוספים לשימוש.
בעתיד יכול להיות שנציע ממשק API לניתוח נתונים מסוג LoRA, במטרה לשפר את הביצועים של המודל המובנה על ידי התאמת המשקולות של המודל.
מתי כדאי להשתמש בבינה מלאכותית מובנית
ריכזנו כאן כמה דרכים שבהן AI מובנה יכול להועיל לכם ולמשתמשים שלכם:
- צריכת תוכן שמועשרת באמצעות AI: כולל סיכום, תרגום, סיווג, אפיון וכספק ידע.
- יצירת תוכן עם תמיכה ב-AI: למשל, עזרה בכתיבה, הגהה, תיקון דקדוק וכתיבה מחדש.
המאמרים הבאים
אתם מוזמנים להצטרף לתוכנית התצוגה המקדימה שלנו כדי להתנסות בממשקי ה-API המובנים ל-AI.
Language Detector API זמין עכשיו בגרסת ניסיון למקור לצורך בדיקה נוספת.
במדריך למתחילים ל-Google AI JavaScript SDK מוסבר איך להשתמש ב-Gemini Pro בשרתים של Google עם האתרים ואפליקציות האינטרנט שלכם.