Dipublikasikan: 14 Mei 2024
Saat membuat fitur dengan model AI di web, kita sering kali mengandalkan solusi sisi server untuk model yang lebih besar. Hal ini terutama berlaku untuk AI generatif, dengan bahkan model terkecil berukuran sekitar seribu kali lebih besar daripada ukuran halaman web median. Hal ini juga berlaku untuk kasus penggunaan AI lainnya, dengan model yang dapat berkisar dari 10 hingga 100 megabyte.
Karena model ini tidak dibagikan di berbagai situs, setiap situs harus mengunduhnya saat pemuatan halaman. Ini adalah solusi yang tidak praktis bagi developer dan pengguna
Meskipun AI sisi server adalah opsi yang bagus untuk model besar, di perangkat dan hybrid pendekatan tersebut memiliki kelebihan yang menarik. Agar pendekatan ini dapat dilakukan, kita perlu mengatasi ukuran model dan pengiriman model.
Itulah sebabnya kami mengembangkan API platform web dan fitur browser yang dirancang untuk mengintegrasikan model AI, termasuk model bahasa besar (LLM), langsung ke browser. Hal ini mencakup Gemini Nano, versi paling efisien dari rangkaian LLM Gemini, yang dirancang untuk dijalankan di sebagian besar komputer {i>desktop <i}dan laptop. Dengan AI bawaan, situs web atau aplikasi web dapat menjalankan tugas yang didukung teknologi AI tanpa perlu men-deploy atau mengelola model AI-nya sendiri.
Temukan manfaat AI bawaan, rencana implementasi kami, dan cara Anda dapat memanfaatkan teknologi ini.
Dapatkan pratinjau awal
Kami memerlukan input Anda untuk membentuk API, memastikannya memenuhi kasus penggunaan Anda, dan menginformasikan diskusi kami dengan browser lain vendor untuk standardisasi.
Bergabunglah dengan program pratinjau awal kami untuk memberikan masukan tentang ide AI bawaan tahap awal, dan temukan peluang untuk menguji API yang sedang dalam proses melalui pembuatan prototipe lokal.
Bergabung dengan grup pengumuman publik developer AI Chrome agar diberi tahu saat API baru tersedia.
Manfaat AI bawaan untuk developer web
Dengan AI bawaan, browser Anda menyediakan dan mengelola model dasar dan pakar.
Dibandingkan dengan AI di perangkat yang Anda buat sendiri, AI bawaan menawarkan manfaat berikut:
- Kemudahan deployment: Saat mendistribusikan model, browser akan mempertimbangkan kemampuan perangkat dan mengelola update pada model. Artinya, Anda tidak bertanggung jawab untuk mendownload atau mengupdate model besar melalui jaringan. Anda tidak perlu mengatasi penghapusan penyimpanan, anggaran memori runtime, biaya penayangan, dan tantangan lainnya.
- Akses ke akselerasi hardware: Runtime AI browser dioptimalkan untuk memaksimalkan hardware yang tersedia, baik GPU, NPU, maupun kembali ke CPU. Akibatnya, aplikasi Anda dapat mendapatkan performa terbaik di setiap perangkat.
Manfaat menjalankan di perangkat
Dengan pendekatan AI bawaan, melakukan tugas AI di perangkat menjadi mudah, yang pada akhirnya menawarkan keuntungan berikut:
- Pemrosesan data sensitif secara lokal: AI di perangkat dapat meningkatkan kualitas privasi Anda. Misalnya, jika Anda bekerja dengan data sensitif, Anda dapat menawarkan fitur keamanan kepada pengguna dengan enkripsi end-to-end.
- Pengalaman pengguna yang tajam: Dalam beberapa kasus, mengganti perjalanan bolak-balik ke server berarti Anda dapat menawarkan hasil yang mendekati instan. AI di perangkat dapat menjadi perbedaan antara fitur yang layak dan pengalaman pengguna yang kurang optimal.
- Akses yang lebih besar ke AI: Perangkat pengguna Anda dapat memikul sebagian beban pemrosesan sebagai imbalan atas lebih banyak akses ke fitur. Misalnya, jika Anda menawarkan fitur AI premium, Anda dapat melihat pratinjau fitur tersebut dengan agar calon pelanggan dapat melihat manfaat produk, tanpa biaya tambahan kepada Anda. Pendekatan hibrida ini juga dapat membantu Anda mengelola biaya inferensi terutama pada alur pengguna yang sering digunakan.
- Penggunaan AI offline: Pengguna Anda dapat mengakses fitur AI bahkan saat tidak ada koneksi internet. Artinya, situs dan aplikasi web Anda dapat berfungsi seperti yang diharapkan secara offline atau dengan konektivitas variabel.
AI Hybrid: Di perangkat dan sisi server
Meskipun AI di perangkat dapat menangani banyak kasus penggunaan, ada beberapa penggunaan kasus yang membutuhkan dukungan sisi server.
Misalnya, Anda mungkin perlu menggunakan model yang lebih besar atau mendukung platform dan perangkat lainnya.
Anda dapat mempertimbangkan pendekatan campuran, bergantung pada:
- Kompleksitas: Kasus penggunaan yang spesifik dan mudah dipahami lebih mudah didukung AI di perangkat. Untuk kasus penggunaan yang kompleks, pertimbangkan penerapan sisi server.
- Ketahanan: Gunakan sisi server secara default, dan gunakan di perangkat saat perangkat sedang offline atau memiliki koneksi yang tidak stabil.
- Penggantian yang halus: Penerapan browser dengan AI bawaan akan memerlukan waktu, beberapa model mungkin tidak tersedia, dan perangkat yang lebih lama atau kurang canggih mungkin tidak memenuhi persyaratan hardware untuk menjalankan semua model secara optimal. Tawarkan AI sisi server untuk pengguna tersebut.
Untuk model Gemini, Anda dapat menggunakan integrasi backend (dengan Python, Mulai, Node.js, atau REST) atau terapkan di aplikasi web Anda dengan SDK klien AI Google untuk Web.
Arsitektur dan API browser
Untuk mendukung AI bawaan di Chrome, kami membuat infrastruktur untuk mengakses model dasar dan pakar untuk eksekusi di perangkat. Infrastruktur ini sudah mendukung fitur browser inovatif, seperti Bantu saya menulis, dan akan segera mendukung API untuk AI di perangkat.
Anda akan mengakses kemampuan AI bawaan, terutama dengan API tugas, seperti translation API atau ringkasan Compute Engine API. Task API dirancang untuk menjalankan inferensi terhadap model terbaik untuk tugas.
Di Chrome, API ini dibuat untuk menjalankan inferensi terhadap Gemini Nano dengan fine-tuning, atau model pakar. Dirancang untuk berjalan secara lokal pada sebagian besar perangkat modern, Gemini Nano cocok untuk kasus penggunaan terkait bahasa, seperti perangkuman, pembahasan ulang, atau kategorisasi.
Selain itu, kami bermaksud menyediakan API eksplorasi, sehingga Anda dapat bereksperimen secara lokal dan membagikan kasus penggunaan tambahan.
Misalnya, kami dapat memberikan:
- Prompt API: Mengirim tugas arbitrer, yang dinyatakan dalam bahasa alami, ke Model Bahasa Besar bawaan (Gemini Nano di Chrome).
- Fine-tuning (LoRA) API: Meningkatkan performa LLM bawaan pada suatu tugas dengan menyesuaikan bobot model menggunakan Adaptasi Peringkat Rendah fine-tuning.
Kapan harus menggunakan AI bawaan
Berikut beberapa manfaat AI bawaan yang kami harapkan dapat bermanfaat bagi Anda dan pengguna Anda:
- Konsumsi konten yang ditingkatkan kualitasnya dengan AI: Termasuk fitur ringkasan, terjemahan, menjawab pertanyaan tentang beberapa konten, kategorisasi, dan karakterisasi.
- Pembuatan konten yang didukung AI: Misalnya bantuan penulisan, pemeriksaan tata bahasa, koreksi tata bahasa, dan pembahasan ulang.
Langkah berikutnya
Bergabunglah ke program pratinjau awal kami untuk bereksperimen dengan API AI bawaan tahap awal.
Sementara itu, Anda dapat mempelajari cara menggunakan Gemini Pro di server Google dengan situs web dan aplikasi web Anda di panduan memulai untuk Google AI JavaScript SDK.