测试 Chrome 内置 Gemini Nano 大语言模型 (4bit 3.25B) 的方法

测试 Chrome 内置 Gemini Nano 的方法:

  1. 下载 Chrome 127,可以到 Chrome Release Channels 下载 Canary 版本

  2. 打开 chrome://flags/,搜索以下设置并启用:

  • a) 找到 Prompt API for Gemini Nano 设置为 Enable
  • b) 找到 Enables optimization guide on device 设置为 Enable BypassPerfR (不是 Enable)
  • c) 重启 Chrome

  1. 打开 chrome://components/,检查 Optimization Guide On Device Model 中模型是否成功下载,点击 Check for update

  1. 打开控制台,输入 window.ai 测试是否能有返回结果,可以用下面的完整代码测试:
const canCreate = await window.ai.canCreateGenericSession()
if (canCreate !== "no") {
const session = await window.ai.createTextSession();
const stream = session.promptStreaming("Tell me a joke!")
for await (const chunk of stream) {
console.log(chunk)
}
session.destroy()
} else {
console.error(" can't create generic session", canCreate)
}