智岛OS智岛OS
模型下载
安装包不带对话模型。装好后按电脑的内存选一个，在后台下载；不能上网的机器，在另一台电脑下载后用 U 盘导入。
说明
为什么安装包不带对话模型
对话模型负责读懂问题、组织回答，文件从 2 GB 到将近 20 GB 不等。合适的模型取决于电脑配置，每个模型也有自己的授权。
按电脑选模型
8 GB 内存的电脑用 Qwen3-1.7B，32 GB 内存的服务器用 Qwen3-30B-A3B。装好后按本机配置选，不用多下一个跑不动的大文件。
每个模型有自己的授权
模型由发布方按各自的授权发布。由使用的公司自己下载，在后台阅读并同意授权，设备记录谁在什么时候同意。
安装包更小
试用安装包约 3.8 GB，一个文件。文件导入、搜索、文字识别和录音转写用的模型都在安装包里，没装对话模型时也能用。
版本
三个版本和推荐模型
Edge、Pro、Max 按硬件和授权区分，授权的版本决定能下载哪些模型，高版本也能用低版本的模型。试用期内三个版本的模型都能下载。
Edge
普通电脑或小主机，内存 16 GB。
- Qwen3-4B：默认模型，内存 16 GB
- Qwen3-1.7B：内存只有 8 GB 的电脑
- 重排序：不开，内存留给对话模型
Pro
更大的模型，回答更完整。
- Qwen3-8B：内存 16 GB 以上
- Qwen3-30B-A3B：内存 32 GB，知识面更广，回答速度和 Qwen3-4B 相近
- 重排序：安装包自带的 bge-reranker-base，内存 24 GB 以上时默认开启
Max
NVIDIA 显卡 24–48 GB 显存，内存 64 GB 以上。跑更大的模型，几个人同时提问排队更少。
- Qwen3-30B-A3B：和 Pro 同一个模型，用显卡运行
- Qwen3-Next-80B-A3B：显存 24 GB，内存 64 GB
- gpt-oss-120b：显存 24 GB，内存 64 GB
- Qwen3-235B-A22B：显存 48 GB，内存 128 GB
- 重排序：Qwen3-Reranker-0.6B，在显卡上运行
Max
Max 显卡版
需要一块 NVIDIA 显卡，24–48 GB 显存，电脑内存 64 GB 以上。用显卡版安装包安装，安装时检测显卡和驱动；后台「模型」页显示显卡型号、显存和驱动版本。
更大的模型
混合专家模型常用的部分放在显存里，其余放在内存里，24 GB 的显卡也能跑上百亿参数的模型，知识面更广。
每个回答读更多资料
显卡读资料快，每个问题读 6 份相关资料、每份约 400 字，和云端模型一样多，回答更完整。
几个人同时提问
同时回答 2 个或更多问题，人多时排队更少。整理日报、早报这些后台工作交给处理器上的小模型，不占显卡。
检索更准
向量模型换成更大的 Qwen3-Embedding-4B，重排序换成 Qwen3-Reranker-0.6B，都在显卡上运行，相近的资料分得更清楚。更换向量模型后文件在后台重新处理，期间照常使用。
推荐做法
在后台下载
装智岛OS 的机器需要连一次外网。默认从魔搭社区（ModelScope）下载，也可以选 Hugging Face。
打开模型目录
管理员登录后台，打开「模型 → 模型目录」。每个模型标出「这台设备能跑」「内存不够」或「需要 Pro 版授权」。
同意授权，点下载
点「下载」，阅读授权摘要和全文，勾选「我已阅读并同意《授权名称》，由本公司自行下载和使用」，选择下载来源。
等下载完成
页面显示下载进度。下载完设备自动核对文件，再导入。还没有在用的模型时自动启用；已有模型时点「切换」。
下载期间，文件导入、搜索和其他功能照常使用。
不联网
在另一台电脑下载，用 U 盘导入
装智岛OS 的机器不能上网时用这个办法。
下载模型文件
在能上网的电脑上打开模型清单里的魔搭页面，进入「模型文件」，下载清单里写的那个 .gguf 文件，文件名保持不变。拷到 U 盘，U 盘用 exFAT 格式（FAT32 放不下 4 GB 以上的文件）。
插上 U 盘
U 盘插到装智岛OS 的机器上。Ubuntu Server 不自动打开 U 盘：先运行 lsblk 找到它（例如 sdb1），再运行：
sudo mkdir -p /media/usb && sudo mount /dev/sdb1 /media/usb
导入
运行下面的命令，文件名换成实际的：
sudo memory-appliance-admin model import /media/usb/Qwen3-4B-Q4_K_M.gguf
设备自动核对文件，不完整或被改动过的文件会被拒绝。导入后运行 sudo umount /media/usb，再拔 U 盘。
启用
还没有在用的模型时，导入后自动启用。已有模型时，在后台「模型」页点「切换」。使用前请阅读模型的授权，链接在下面的清单里。
模型清单
推荐模型
Qwen3 系列是通义千问（Qwen）官方发布的 GGUF 文件；gpt-oss-120b 由 OpenAI 发布，GGUF 文件由 llama.cpp 项目（ggml-org）转换。这些模型的授权都是 Apache-2.0，允许商用。Qwen3.8-Flash-Next 的授权限制部分商业使用，见表下说明。下载和导入时设备自动核对文件。
| 模型 | 版本 | 文件 | 大小 | 电脑内存 | 授权 | 下载页 |
|---|---|---|---|---|---|---|
| Qwen3-4B（默认） | Edge | Qwen3-4B-Q4_K_M.gguf | 2.5 GB | 至少 9 GB，建议 16 GB | Apache-2.0 | 魔搭社区 |
| Qwen3-1.7B | Edge | Qwen3-1.7B-Q8_0.gguf | 1.8 GB | 8 GB | Apache-2.0 | 魔搭社区 |
| Qwen3-8B | Pro | Qwen3-8B-Q4_K_M.gguf | 5.0 GB | 至少 12 GB，建议 16 GB | Apache-2.0 | 魔搭社区 |
| Qwen3-30B-A3B | Pro | Qwen3-30B-A3B-Q4_K_M.gguf | 18.6 GB | 至少 24 GB，建议 32 GB | Apache-2.0 | 魔搭社区 |
| Qwen3-30B-A3B（显卡） | Max 显卡版 | Qwen3-30B-A3B-Q4_K_M.gguf，和 Pro 同一个文件 | 18.6 GB | 至少 12 GB，另需 24 GB 显存 | Apache-2.0 | 魔搭社区 |
| Qwen3-Next-80B-A3B | Max 显卡版 | Qwen3-Next-80B-A3B-Instruct-Q4_K_M.gguf | 48.4 GB | 至少 39 GB，建议 64 GB；另需 24 GB 显存 | Apache-2.0 | 魔搭社区 |
| gpt-oss-120b | Max 显卡版 | gpt-oss-120b-MXFP4.gguf | 63.4 GB | 至少 54 GB，建议 64 GB；另需 24 GB 显存 | Apache-2.0，另需遵守 OpenAI 的使用政策 | 魔搭社区 |
| Qwen3-235B-A22B | Max 显卡版 | Q4_K_M 文件夹里的 5 个文件，Qwen3-235B-A22B-Q4_K_M-00001-of-00005.gguf 到 -00005-of-00005.gguf | 142.2 GB | 至少 108 GB，建议 128 GB；另需 48 GB 显存 | Apache-2.0 | 魔搭社区 |
| Qwen3.8-Flash-Next（IQ2_XS，Strata 引擎） | Max 显卡版，需要带 Strata 引擎的显卡版安装包 | IQ2_XS 文件夹里的 2 个文件，Qwen3.8-Flash-Next-GSQ-RCO-IQ2_XS-00001-of-00002.gguf 和 -00002-of-00002.gguf | 68.0 GB | 至少 45 GB，建议 64 GB；另需 24 GB 显存，显卡驱动 580.65.06 或更新 | Qwen 社区许可协议 1.0，限制部分商业使用，见表下说明 | 魔搭社区、Hugging Face |
| Qwen3.8-Flash-Next（IQ3_S，Strata 引擎） | Max 显卡版，需要带 Strata 引擎的显卡版安装包 | IQ3_S 文件夹里的 2 个文件，Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00001-of-00002.gguf 和 -00002-of-00002.gguf | 83.6 GB | 至少 57 GB，建议 128 GB；另需 48 GB 显存，显卡驱动 580.65.06 或更新 | Qwen 社区许可协议 1.0，限制部分商业使用，见表下说明 | 魔搭社区、Hugging Face |
| bge-reranker-base（重排序模型） | Pro | 随安装包，不用下载 | 约 1.1 GB | 至少 12 GB，内存 24 GB 以上时默认开启 | MIT | — |
| Qwen3-Reranker-0.6B（重排序模型） | Max 显卡版 | qwen3-reranker-0.6b-q8_0.gguf | 0.6 GB | 显卡至少 8 GB 显存，和对话模型共用时约占 2 GB | Apache-2.0 | 魔搭社区 |
| Qwen3-Embedding-4B（向量模型） | Max 显卡版 | Qwen3-Embedding-4B-Q8_0.gguf | 4.3 GB | 和对话模型共用 24 GB 以上的显卡，约占 6 GB 显存 | Apache-2.0 | 魔搭社区 |
重排序模型在检索后把找到的资料按和问题的相关程度重新排序，不可用时按原来的顺序回答。电脑内存按整台机器算，包括智岛OS 自己占用的部分；内存或显存不够的模型不能下载和切换。Max 的显卡模型正在显卡上做回答测试，测完公布速度和准确率。分成几个文件的模型要下载全部文件，放在同一个文件夹里导入。其他 GGUF 格式的模型也可以用命令导入，效果没有经过我们测试。
Qwen3.8-Flash-Next：授权限制部分商业使用
Qwen3.8-Flash-Next 由通义千问（Qwen）按《Qwen 社区许可协议 1.0》发布，GGUF 文件由 ISTA-DASLab 量化。我们不提供、不预装、不分发这个模型的文件，任何安装包里都没有它；只能由贵公司自己下载，贵公司是这个模型的被许可方，须自行确认贵公司及其关联方的业务符合许可协议。
条款摘要：第 2 条，如果被许可方或其任何关联方经营「模型即服务」（通过 API 等方式让第三方使用语言模型推理或微调）或「AI 办公助手」（主要用于 AI 辅助编程或办公效率的独立 AI 产品）业务，在把这个模型用于任何商业目的之前，必须另行取得 Qwen 的许可；仅在内部使用、且不向任何第三方提供这个模型、它的输出或模型能力的，不受此限。第 1 条，月活跃用户超过 1 亿或月收入超过 2000 万美元的商业产品，须在界面上显著标明模型名称。以许可协议全文为准。
在后台下载时，对话框写明贵公司是被许可方并引用条款摘要，勾选「我已阅读并同意《Qwen 社区许可协议 1.0》，本公司是这个模型的被许可方，由本公司自行下载和使用，并承担许可证规定的义务」后才能下载。用 U 盘导入时，下载前请先阅读许可协议全文。
运行条件：Max 版授权；带 Strata 引擎的显卡版安装包（向我们索取；Strata 是专门运行这个模型的推理引擎，安装包里只有引擎，没有模型文件）；显卡驱动 580.65.06 或更新。IQ2_XS 用 24 GB 显存、64 GB 内存的服务器，同时回答 2 个问题；IQ3_S 用 48 GB 显存、128 GB 内存的服务器，同时回答 4 个问题。两个都还没有在设备上测试。第一次启动时设备要先为 Strata 准备一次模型数据（另占几 GB 磁盘），最长约 15 分钟。
常见问题
常见问题
不联网怎么办？
按上面的U 盘导入：在能上网的电脑上从魔搭社区下载模型文件，拷到设备上导入。也可以向我们要带 Qwen3-4B 的完整安装包，装好就能问答。
下载慢怎么办？
默认的魔搭社区在国内，一般比 Hugging Face 快。下载中断后重新点「下载」，从断点接着下。Qwen3-30B-A3B 约 18.6 GB，可以在网速快的电脑上下载，再用 U 盘导入。
怎么换模型？
在「模型 → 模型目录」下载另一个模型，然后点「切换」。切换时问答暂停 1–3 分钟；新模型启动失败会自动换回原来的。内存不够、或授权版本不包含的模型不能切换。
Max 显卡版需要什么硬件？
一块 NVIDIA 显卡，24–48 GB 显存，驱动 570.26 或更新；电脑内存 64 GB 以上，Qwen3-235B-A22B 需要 48 GB 显存和 128 GB 内存。用显卡版安装包安装，安装时检测显卡。没有显卡的电脑用 Edge 和 Pro 的模型。
模型的授权由谁负责？
每个模型由发布方按自己的授权发布，例如 Qwen3 系列是 Apache-2.0；Qwen3.8-Flash-Next 的授权限制部分商业使用，见模型清单下的说明。下载时由公司管理员阅读并同意授权，公司自己下载和使用；设备记录谁在什么时候同意了哪个授权。智岛OS 自己的授权（Edge、Pro、Max）另外购买，决定能下载哪些模型。
不装本地模型能用吗？
能。在后台「模型」页接入云端模型（DeepSeek、通义千问、Kimi、智谱）或公司内网已有的模型服务器。文件导入和搜索不受影响。