Ngày xuất bản: 14 tháng 5 năm 2024, Ngày cập nhật gần đây nhất: 16 tháng 10 năm 2024
Khi xây dựng các tính năng bằng mô hình AI trên web, chúng ta thường dựa vào các giải pháp phía máy chủ cho các mô hình lớn hơn. Điều này đặc biệt đúng với AI tạo sinh, trong đó ngay cả những mô hình nhỏ nhất cũng lớn hơn khoảng nghìn lần so với kích thước trung bình của trang web. Điều này cũng đúng với các trường hợp sử dụng AI khác, trong đó các mô hình có thể có phạm vi từ 10 giây đến 100 megabyte. Vì các mô hình này không được chia sẻ trên các trang web, nên mỗi trang web phải tải các mô hình này xuống khi tải trang. Điều này không thực tế đối với nhà phát triển và người dùng.
Chúng tôi đang phát triển các API nền tảng web và tính năng trình duyệt được thiết kế để tích hợp trực tiếp các mô hình AI, bao gồm cả mô hình ngôn ngữ lớn (LLM), vào trình duyệt. Trong đó có Gemini Nano, phiên bản hiệu quả nhất trong nhóm mô hình ngôn ngữ lớn (LLM) Gemini, được thiết kế để chạy trên máy tính và máy tính xách tay hiện đại nhất. Với AI tích hợp, trang web hoặc ứng dụng web của bạn có thể thực hiện các tác vụ dựa trên AI mà không cần triển khai hoặc quản lý các mô hình AI của riêng mình.
Khám phá các lợi ích của AI tích hợp, kế hoạch triển khai của chúng tôi và cách bạn có thể tận dụng công nghệ này.
Nhận bản xem trước sớm
Chúng tôi cần ý kiến đóng góp của bạn để định hình các API, đảm bảo các API đó đáp ứng các trường hợp sử dụng của bạn và thông báo cho các cuộc thảo luận của chúng tôi với các nhà cung cấp trình duyệt khác để chuẩn hoá.
Tham gia chương trình dùng thử sớm của chúng tôi để đưa ra ý kiến phản hồi về các ý tưởng tích hợp sẵn dựa trên AI ở giai đoạn đầu và khám phá các cơ hội kiểm thử các API đang tiến hành thông qua hoạt động tạo nguyên mẫu cục bộ.
Tham gia nhóm thông báo công khai dành cho nhà phát triển AI của Chrome để nhận thông báo khi có API mới.
Lợi ích của công nghệ AI tích hợp sẵn dành cho nhà phát triển web
Với AI tích hợp, trình duyệt của bạn sẽ cung cấp và quản lý các mô hình nền tảng và chuyên gia.
So với việc tự xây dựng AI phía máy khách, AI tích hợp sẵn mang lại những lợi ích sau:
- Dễ triển khai: Khi phân phối các mô hình, trình duyệt sẽ tính đến khả năng của thiết bị và quản lý các bản cập nhật cho mô hình. Điều này có nghĩa là bạn không chịu trách nhiệm tải xuống hoặc cập nhật các mô hình lớn qua mạng. Bạn không cần phải giải quyết vấn đ��� về việc xoá bộ nhớ, hạn mức bộ nhớ trong thời gian chạy, chi phí phân phát và các thách thức khác.
- Quyền truy cập vào tính năng tăng tốc phần cứng: Thời gian chạy AI của trình duyệt được tối ưu hoá để khai thác tối đa phần cứng có sẵn, cho dù đó là GPU, NPU hay quay lại CPU. Do đó, ứng dụng của bạn có thể đạt được hiệu suất tốt nhất trên từng thiết bị.
Lợi ích của việc chạy phía máy khách
Với phương pháp tiếp cận AI tích hợp sẵn, việc thực hiện các nhiệm vụ AI ở phía máy khách trở nên không đơn giản, từ đó mang lại những ưu điểm sau:
- Xử lý dữ liệu nhạy cảm trên thiết bị: AI phía máy khách có thể cải thiện câu chuyện về quyền riêng tư của bạn. Ví dụ: nếu xử lý dữ liệu nhạy cảm, bạn có thể cung cấp các tính năng AI cho người dùng bằng phương thức mã hoá hai đầu.
- Trải nghiệm người dùng nhanh chóng: Trong một số trường hợp, việc bỏ qua lượt truy cập hai chiều đến máy chủ có nghĩa là bạn có thể cung cấp kết quả gần như tức thì. AI phía máy khách có thể là sự khác biệt giữa một tính năng khả thi và trải nghiệm người dùng chưa tối ưu.
- Có nhiều quyền truy cập hơn vào AI: Thiết bị của người dùng có thể gánh một phần tải xử lý để đổi lấy quyền truy cập nhiều hơn vào các tính năng. Ví dụ: nếu cung cấp các tính năng AI nâng cao, bạn có thể xem trước các tính năng này bằng AI phía máy khách để khách hàng tiềm năng có thể thấy được lợi ích của sản phẩm mà không tốn thêm chi phí. Phương pháp kết hợp này cũng có thể giúp bạn quản lý chi phí suy luận, đặc biệt là trên các luồng người dùng thường dùng.
- Sử dụng AI khi không có mạng: Người dùng có thể sử dụng các tính năng AI ngay cả khi không có kết nối Internet. Điều này có nghĩa là các trang web và ứng dụng web của bạn có thể hoạt động như mong đợi khi không có mạng hoặc khi có kết nối không ổn định.
AI kết hợp: Phía máy khách và phía máy chủ
Mặc dù AI phía máy khách có thể xử lý nhiều trường hợp sử dụng, nhưng có một số trường hợp nhất định cần có sự hỗ trợ phía máy chủ.
AI phía máy chủ là một lựa chọn tuyệt vời cho các mô hình lớn và có thể hỗ trợ nhiều nền tảng và thiết bị hơn.
Bạn có thể cân nhắc phương pháp kết hợp, tuỳ thuộc vào:
- Mức độ phức tạp: Các trường hợp sử dụng cụ thể, dễ tiếp cận sẽ dễ được hỗ trợ hơn bằng AI trên thiết bị. Đối với các trường hợp sử dụng phức tạp, hãy cân nhắc triển khai phía máy chủ.
- Khả năng phục hồi: Sử dụng phía máy chủ theo mặc định và sử dụng trên thiết bị khi thiết bị không có kết nối mạng hoặc kết nối không ổn định.
- Tính năng dự phòng linh hoạt: Việc sử dụng trình duyệt có tích hợp AI sẽ mất thời gian, một số kiểu máy có thể không dùng được, đồng thời các thiết bị cũ hoặc kém hiệu quả hơn có thể không đáp ứng được các yêu cầu về phần cứng để chạy tất cả các mô hình một cách tối ưu. Cung cấp AI phía máy chủ cho những người dùng đó.
Đối với các mô hình Gemini, bạn có thể sử dụng tính năng tích hợp phần phụ trợ (với Python, Go, Node.js hoặc REST) hoặc triển khai trong ứng dụng web bằng SDK ứng dụng AI của Google mới cho web.
Cấu trúc trình duyệt và API
Để hỗ trợ AI tích hợp sẵn trong Chrome, chúng tôi đã tạo cơ sở hạ tầng để tiếp cận nền tảng và các mô hình chuyên gia để thực thi trên thiết bị. Cơ sở hạ tầng này đã hỗ trợ các tính năng đổi mới cho trình duyệt, chẳng hạn như Giúp tôi viết.
Bạn có thể sử dụng các tính năng AI tích hợp sẵn chủ yếu thông qua các API tác vụ, chẳng hạn như API Trình biên dịch hoặc API Tóm tắt. API tác vụ được thiết kế để chạy suy luận dựa trên mô hình tốt nhất cho bài tập.
Trong Chrome, các API này được xây dựng để chạy dự đoán dựa trên Gemini Nano bằng tính năng tinh chỉnh hoặc mô hình chuyên gia. Được thiết kế để chạy trên hầu hết các thiết bị hiện đại, Gemini Nano là ứng dụng phù hợp nhất cho các trường hợp sử dụng liên quan đến ngôn ngữ, chẳng hạn như tóm tắt, diễn đạt lại hoặc phân loại.
Chúng tôi cũng cung cấp các API khám phá, chẳng hạn như Prompt API để bạn có thể thử nghiệm cục bộ và chia sẻ các trường hợp sử dụng khác.
Trong tương lai, chúng tôi có thể cung cấp một API LoRA khám phá để cải thiện hiệu suất của mô hình tích hợp sẵn bằng cách điều chỉnh trọng số của mô hình.
Trường hợp nên sử dụng AI tích hợp
Sau đây là một số lợi ích mà công nghệ AI tích hợp sẵn mang lại cho bạn và người dùng:
- Trải nghiệm tiêu thụ nội dung được AI nâng cao: Bao gồm việc tóm tắt, dịch, phân loại, mô tả và cung cấp kiến thức.
- Tạo nội dung có sự hỗ trợ của AI: Chẳng hạn như trợ giúp viết lách, hiệu đính, sửa lỗi ngữ pháp và diễn đạt lại.
Bước tiếp theo
Hãy tham gia chương trình dùng thử sớm của chúng tôi để thử nghiệm các API AI tích hợp sẵn.
Language Detector API hiện có trong phiên bản thử nghiệm gốc để thử nghiệm thêm.
Tìm hiểu cách sử dụng Gemini Pro trên các máy chủ của Google với trang web và ứng dụng web của bạn trong phần bắt đầu nhanh về SDK JavaScript AI của Google.