207 lines
18 KiB
HTML
207 lines
18 KiB
HTML
<!DOCTYPE html>
|
||
<html lang="zh-CN">
|
||
<head>
|
||
<meta charset="UTF-8">
|
||
<meta name="viewport" content="width=device-width, initial-scale=1.0">
|
||
<title>硬件与部署实现方案：小型服务器 + 本地 NAS v1.0</title>
|
||
<style>
|
||
:root{
|
||
--ink:#1A2433; --muted:#6B7A8F; --navy:#13315C; --blue:#2E93F7;
|
||
--orange:#FF8A3D; --bg:#F4F7FB; --card:#FFFFFF; --line:#E3EAF2;
|
||
--green:#2E9E6B; --yellow:#D9A61B; --red:#D9534F;
|
||
}
|
||
*{box-sizing:border-box; margin:0; padding:0;}
|
||
body{font-family:"Microsoft YaHei","PingFang SC",sans-serif; background:var(--bg); color:var(--ink); line-height:1.65; font-size:14px;}
|
||
.wrap{max-width:1080px; margin:0 auto; padding:32px 24px 80px;}
|
||
.hero{background:linear-gradient(135deg,#0B2545 0%,#13315C 60%,#1E6FB8 100%); color:#fff; border-radius:14px; padding:40px 44px; margin-bottom:28px;}
|
||
.hero .tag{display:inline-block; background:rgba(46,147,247,.25); border:1px solid rgba(46,147,247,.5); color:#BBD6F2; padding:3px 12px; border-radius:20px; font-size:12px; margin-bottom:14px;}
|
||
.hero h1{font-size:28px;}
|
||
.hero .sub{color:#BBD6F2; margin-top:8px; font-size:14px;}
|
||
.hero .params{margin-top:20px; display:flex; flex-wrap:wrap; gap:10px;}
|
||
.hero .params span{background:rgba(255,255,255,.08); border:1px solid rgba(255,255,255,.16); padding:6px 14px; border-radius:8px; font-size:13px;}
|
||
h2{font-size:20px; color:var(--navy); margin:44px 0 6px; display:flex; align-items:center; gap:10px;}
|
||
h2 .no{background:var(--navy); color:#fff; width:30px; height:30px; border-radius:8px; display:inline-flex; align-items:center; justify-content:center; font-size:15px; flex:0 0 auto;}
|
||
.sec-desc{color:var(--muted); margin-bottom:16px; font-size:13px;}
|
||
table{width:100%; border-collapse:collapse; background:var(--card); border-radius:12px; overflow:hidden; border:1px solid var(--line); font-size:13px; margin-bottom:14px;}
|
||
th{background:var(--navy); color:#fff; padding:9px 12px; text-align:left; font-weight:600;}
|
||
td{padding:9px 12px; border-top:1px solid var(--line); vertical-align:top;}
|
||
tr:nth-child(even) td{background:#FAFCFE;}
|
||
td .w{font-weight:600; color:var(--navy);}
|
||
.arch{display:grid; grid-template-columns:1fr 1fr 1fr; gap:12px; margin:14px 0;}
|
||
.a-card{background:var(--card); border:1px solid var(--line); border-radius:12px; padding:16px 18px; position:relative;}
|
||
.a-card .lvl{font-size:11px; color:#fff; padding:2px 10px; border-radius:10px; display:inline-block; margin-bottom:8px;}
|
||
.a-card .nm{font-weight:bold; color:var(--navy); font-size:14px; margin-bottom:6px;}
|
||
.a-card ul{list-style:none;}
|
||
.a-card li{font-size:12px; color:var(--ink); padding:2px 0; border-bottom:1px dashed #EEF2F8;}
|
||
.a-card li:last-child{border-bottom:none;}
|
||
.a-arrow{text-align:center; color:var(--blue); font-weight:700; font-size:16px; margin:2px 0;}
|
||
.note-line{background:#FFF7EE; border:1px solid #FFE2C4; border-radius:10px; padding:12px 16px; font-size:13px; color:#8A5A1F; margin:14px 0;}
|
||
.free-note{background:#EFFAF4; border:1px solid #BFE8D3; border-radius:10px; padding:12px 16px; font-size:13px; color:#1F7A4D; margin:14px 0;}
|
||
.cols{display:grid; grid-template-columns:1fr 1fr; gap:14px;}
|
||
.box{background:var(--card); border:1px solid var(--line); border-radius:12px; padding:18px 20px;}
|
||
.box h4{color:var(--navy); font-size:15px; margin-bottom:10px;}
|
||
.box ol,.box ul{padding-left:20px;}
|
||
.box li{padding:4px 0; font-size:13px;}
|
||
.total{background:linear-gradient(135deg,#13315C,#1E6FB8); color:#fff; border-radius:12px; padding:18px 24px; margin-top:14px;}
|
||
.total b{color:#FFB27D;}
|
||
footer{margin-top:48px; text-align:center; color:var(--muted); font-size:12px;}
|
||
@media (max-width:900px){.arch,.cols{grid-template-columns:1fr;}}
|
||
</style>
|
||
</head>
|
||
<body>
|
||
<div class="wrap">
|
||
|
||
<div class="hero">
|
||
<span class="tag">内部技术底稿 · 与运营基板配套 · v1.0</span>
|
||
<h1>硬件与部署实现方案：小型服务器 + 本地 NAS</h1>
|
||
<div class="sub">落地你的构想：公司内搭"小型服务器 + 本地 NAS"，部署多模型 + Agent 抓手工具，处理数据相关内部事务；数据不出厂、计算本地化、备份独立、单人可远程维护</div>
|
||
<div class="params">
|
||
<span>计算：<b>小型服务器</b>（EVO-X2 128GB 统一内存为推荐核心）</span>
|
||
<span>存储：<b>本地 NAS</b>（RAID + 快照 + 异地备份）</span>
|
||
<span>模型：<b>多模型</b>（小 7–14B + 大 30B MoE + 嵌入）</span>
|
||
<span>编排：<b>Hermes Agent</b> 抓手工具 + 云端 API 兜底</span>
|
||
</div>
|
||
</div>
|
||
|
||
<h2><span class="no">1</span>架构总览：三层分工</h2>
|
||
<div class="sec-desc">核心原则：<b>数据归 NAS、计算归服务器、触达归手机</b>。数据资产是客户的命根子，必须落在独立存储上；模型和 Agent 在服务器上跑；结果推到你/老板的手机。</div>
|
||
<div class="arch">
|
||
<div class="a-card"><span class="lvl" style="background:#0E3D66">存储层</span><div class="nm">本地 NAS（数据资产主存储）</div><ul>
|
||
<li>清洗后的数据资产包、SQLite 库、文档/手册</li>
|
||
<li>模型权重库（供服务器挂载加载）</li>
|
||
<li>RAID1/5 + 每日快照 + Tailscale 异地备份</li>
|
||
</ul></div>
|
||
<div class="a-card"><span class="lvl" style="background:#1E6FB8">计算层</span><div class="nm">小型服务器（计算核心）</div><ul>
|
||
<li>Ollama 多模型（小模型快处理 + 30B MoE 深分析）</li>
|
||
<li>Hermes Agent + 工具函数（查库/出报告/推送）</li>
|
||
<li>SQLite/Chroma 向量库 + Streamlit 看板</li>
|
||
<li>Ubuntu 24.04，ROCm 驱动，功耗 ~100W</li>
|
||
</ul></div>
|
||
<div class="a-card"><span class="lvl" style="background:#2E93F7">触达层</span><div class="nm">老板端 + 你（运维）</div><ul>
|
||
<li>老板手机：微信图文周报/预警（免装 APP）</li>
|
||
<li>老板浏览器：内网看板，随时查数</li>
|
||
<li>你：Tailscale 远程巡检/更新/扩容（异地维护）</li>
|
||
</ul></div>
|
||
</div>
|
||
<div class="a-arrow">数据流：网店/进销存导出 → NAS 落盘 → 服务器清洗/计算 → 模型/Agent 分析 → 看板/微信推送</div>
|
||
<div class="a-arrow">备份链：NAS RAID → NAS 每日快照 → Tailscale 异地副本（到你本地）</div>
|
||
|
||
<h2><span class="no">2</span>硬件选型推荐</h2>
|
||
<div class="sec-desc">"小型服务器 + 本地 NAS" = 把原来单台 EVO-X2 的职责拆成计算与存储两块。服务器管算力，NAS 管数据和备份。</div>
|
||
<table>
|
||
<tr><th>组件</th><th>推荐配置</th><th>说明</th><th>预算（元）</th></tr>
|
||
<tr><td class="w">小型服务器（计算）</td><td>GMKtec EVO-X2 128GB（统一内存）</td><td>2 万内本地流畅跑 30B MoE（25–35 Token/s），功耗仅 ~100W、静音，适合办公室 24h 开机；AMD 核显 + ROCm</td><td>15,000–18,000</td></tr>
|
||
<tr><td class="w">替代方案（可选）</td><td>塔式工作站：Ryzen9/i7 + RTX 4060 16GB + 64GB 内存</td><td>独显生态成熟（CUDA 坑少），适合以 7–14B 模型为主、偶尔上 30B；功耗与噪音略高</td><td>12,000–15,000</td></tr>
|
||
<tr><td class="w">本地 NAS（存储）</td><td>群晖 DS423+ / 威联通 TS-464（4 盘位）</td><td>品牌 NAS 省事、自带快照/RAID/APP；DIY（TrueNAS/OMV）更省但费时，单人做样板不推荐 DIY</td><td>2,500–3,500</td></tr>
|
||
<tr><td class="w">NAS 硬盘</td><td>4×2TB NAS 盘（WD Red / 希捷酷狼），RAID5</td><td>可用容量约 6TB，坏一块不丢数据；留 1 个热备位更好</td><td>2,000–2,600</td></tr>
|
||
<tr><td class="w">网络</td><td>千兆内网 + Tailscale 组网</td><td>服务器-NAS 走内网千兆（读写模型/数据）；你走 Tailscale 远程运维</td><td>0–300</td></tr>
|
||
<tr><td class="w">UPS（可选）</td><td>600VA 在线式 UPS</td><td>厂区断电频繁时必配，保护 NAS 和服务器，避免 RAID 重建/数据损坏</td><td>400–600</td></tr>
|
||
</table>
|
||
<div class="total">💰 采购预算合计：<b>约 2.0–2.6 万元</b>（EVO-X2 + NAS + 4 盘位；UPS 另算 400–600）。比单机 EVO-X2 方案多约 4–6 千，换来的是数据资产独立存储 + 双备份 + 可扩展。</div>
|
||
|
||
<h2><span class="no">3</span>多模型部署与路由</h2>
|
||
<div class="sec-desc">"多模型"不是全堆大模型，而是<b>按任务分轨</b>：日常活儿用小模型（快），复杂分析上 30B MoE（准），超长/疑难走云端 API（兜底）。权重全部存 NAS，按需加载。</div>
|
||
<table>
|
||
<tr><th>模型</th><th>角色</th><th>用途</th><th>速度 / 占用</th></tr>
|
||
<tr><td class="w">Qwen3 7B–14B（小模型）</td><td>日常快处理</td><td>数据问答、工具调用、摘要、规则任务、报表说明</td><td>快（40+ Token/s），约 8–14GB</td></tr>
|
||
<tr><td class="w">Qwen3.6-35B-A3B（30B MoE）</td><td>复杂分析</td><td>经营周报生成、异常归因、深度经营分析</td><td>25–35 Token/s，约 20GB</td></tr>
|
||
<tr><td class="w">bge-m3（嵌入模型）</td><td>向量化</td><td>产品手册/合同/会议纪要检索（RAG）</td><td>轻量，纯本地</td></tr>
|
||
<tr><td class="w">DeepSeek V4 Flash（云端 API）</td><td>兜底</td><td>超长文本、复杂推理、本地不擅长的任务</td><td>按量付费，月均 <200 元</td></tr>
|
||
</table>
|
||
<div class="note-line">🎯 路由规则：Agent 收到任务先试<b>小模型</b> → 任务复杂或小模型输出不达标时切<b>30B MoE</b> → 仍不够（超长/推理难）才走<b>云端 API</b>。敏感数据永远只进本地模型。</div>
|
||
|
||
<h2><span class="no">4</span>Agent 抓手工具清单（数据相关内部事务）</h2>
|
||
<div class="sec-desc">定位是"抓手工具"不是"业务系统"：帮公司处理数据相关的杂事，不碰经营决策与人事。</div>
|
||
<table>
|
||
<tr><th>工具</th><th>输入</th><th>输出</th><th>数据来源</th></tr>
|
||
<tr><td class="w">经营周报</td><td>本周时间范围</td><td>微信图文简报（销量异动/库存预警/TOP 变化）</td><td>SQLite + 模型</td></tr>
|
||
<tr><td class="w">数据问答</td><td>老板自然语言问题（如"上月华东卖了多少"）</td><td>SQL 查询结果 + 一句解释</td><td>SQLite + 小模型</td></tr>
|
||
<tr><td class="w">库存盘点辅助</td><td>库存表/进销存导出</td><td>异常项（超储/临期/断货风险）+ 建议</td><td>SQLite + 30B MoE</td></tr>
|
||
<tr><td class="w">文档检索（RAG）</td><td>问题（如"XX 产品的退换货政策"）</td><td>产品手册/合同片段 + 引用位置</td><td>NAS 文档 → Chroma + bge-m3</td></tr>
|
||
<tr><td class="w">报表生成</td><td>指标/维度选择</td><td>Excel/图表（月度销售、区域分布等）</td><td>SQLite + 工具函数</td></tr>
|
||
<tr><td class="w">会议纪要整理（可选）</td><td>录音转写文本</td><td>要点/待办清单（仅辅助，不替人决策）</td><td>云端 API（非敏感）或本地</td></tr>
|
||
</table>
|
||
|
||
<h2><span class="no">5</span>为什么这样搭：vs 单机 EVO-X2</h2>
|
||
<div class="cols">
|
||
<div class="box"><h4>原方案：单机 EVO-X2（一台全干）</h4><ul>
|
||
<li>数据、模型、看板全在机器本机盘</li>
|
||
<li>备份靠本机快照，机器挂了数据跟着悬</li>
|
||
<li>扩容要拆机加盘，型号不通用</li>
|
||
<li>职责不清：数据资产和计算绑在一起</li>
|
||
<li>优点：成本最低、部署最简单</li>
|
||
</ul></div>
|
||
<div class="box"><h4>新方案：小型服务器 + 本地 NAS（推荐）</h4><ul>
|
||
<li><b>数据资产独立落 NAS</b>：RAID+快照+异地，双保险</li>
|
||
<li><b>模型权重存 NAS</b>：换模型/扩容不占服务器盘</li>
|
||
<li><b>职责分离</b>：数据归存储层、计算归服务器，好维护</li>
|
||
<li><b>可扩展</b>：盘位不够加盘即可，热插拔</li>
|
||
<li>成本只多 4–6 千，换来的是"数据资产安全"这个卖点</li>
|
||
</ul></div>
|
||
</div>
|
||
|
||
<h2><span class="no">6</span>优化建议（基于现有模型与工具栈）</h2>
|
||
<div class="box"><ol>
|
||
<li><b>服务器首选 EVO-X2 128GB</b>：统一内存方案至今仍是"2 万内跑 30B MoE"性价比最优解；替代方案才考虑独显工作站（CUDA 坑少、模型生态更顺）。</li>
|
||
<li><b>模型权重放 NAS</b>：Ollama 通过 NFS/SMB 挂载 NAS 模型目录，换模型不用挪服务器盘；服务器本地盘只放系统。</li>
|
||
<li><b>双轨路由省资源</b>：日常任务别上 30B，小模型又快又省，把 30B MoE 留给周报/归因这类"值钱"的活。</li>
|
||
<li><b>Agent 工具模板化</b>：工具函数库做成模板，第二客户只改数据库连接和口径，这是复制最快的部分。</li>
|
||
<li><b>三层备份链</b>：NAS RAID（防坏盘）→ NAS 每日快照（防误删/勒索）→ Tailscale 异地副本到你本地（防火灾/被盗）。</li>
|
||
<li><b>数据不出厂红线</b>：NAS 只暴露内网，Tailscale 只放行你的设备；云端 API 只接非敏感任务。</li>
|
||
<li><b>UPS 看厂区环境</b>：断电频繁的厂区必配 600VA UPS，避免 RAID 重建和数据损坏——这是硬件维护费里最值钱的一环。</li>
|
||
<li><b>POC 先行</b>：ROCm/驱动兼容性是全链最大坑，签客户前在自己样机跑通一遍，别到客户现场才试。</li>
|
||
</ol></div>
|
||
|
||
<h2><span class="no">7</span>部署步骤（采购到验收）</h2>
|
||
<div class="box"><ol>
|
||
<li>采购：服务器 + NAS + 4×2TB 硬盘（预留 1–2 周物流）</li>
|
||
<li>服务器：装 Ubuntu 24.04，系统盘/数据盘分区，开 SSH</li>
|
||
<li>NAS：初始化 RAID5，建共享目录 data / backup / models</li>
|
||
<li>挂载：服务器挂载 NAS 目录，验证读写速度（千兆）</li>
|
||
<li>模型：装 Ollama，从 NAS 加载小模型 + 30B MoE + bge-m3</li>
|
||
<li>驱动：ROCm 配置验证，跑通 25–35 Token/s（最大坑，预留 1–2 天）</li>
|
||
<li>数据：清洗脚本 + SQLite 入库（数据落 NAS）</li>
|
||
<li>Agent：Hermes Agent + 工具函数 + 微信推送 + Streamlit 看板</li>
|
||
<li>运维：Tailscale 组网 + 三层备份验证 + 备份还原演练</li>
|
||
<li>交付：架构图 + 运维手册 + 验收演示（老板手机收周报）</li>
|
||
</ol></div>
|
||
<div class="free-note">📌 与基板的衔接：本方案对应运营基板"阶段三"——服务器+NAS 搭建、多模型/Agent 抓手工具。前期（阶段一/二）数据清洗、建库看板零硬件投入；到阶段三才采购本方案硬件，报价含硬件（约 2–2.6 万），此后月维护费覆盖"数据资产维护 + 硬件设备维护"两块。</div>
|
||
|
||
<!-- ============ 8 效果风险控制实操 ============ -->
|
||
<h2><span class="no">8</span>本地模型效果风险控制（技术实操）</h2>
|
||
<div class="sec-desc">把"效果不好"拆成可管理的技术动作：任务分层、模型选型、RAG 调试、微调决策、POC 流程。</div>
|
||
<table>
|
||
<tr><th>任务类型</th><th>用什么</th><th>验收标准</th></tr>
|
||
<tr><td class="w">规则明确：周报模板填充、断码/库存预警触发、数据问答（查数）</td><td>本地小模型（7–14B）即可</td><td>格式正确 + 规则正确（数字/预警条件对）</td></tr>
|
||
<tr><td class="w">复杂分析：经营归因、深度分析、报告润色（核心价值，数据敏感）</td><td><b>30B MoE（本地 · 主力）</b></td><td>逻辑通顺 + 数据引用准确（可人工复核）</td></tr>
|
||
<tr><td class="w">超长文本 / 疑难推理 / 开放式创作（占比小、可脱敏）</td><td>云端大模型 API（DeepSeek · 保险丝）</td><td>客户感知"够用、省事"，月预算 200 内</td></tr>
|
||
</table>
|
||
<div class="box"><h4>模型选型速查（别再犯"7B 当主力"的错）</h4><ul>
|
||
<li>7–14B：工具调用、数据问答、格式提取——快但浅，别让它做深分析</li>
|
||
<li><b>30B MoE（Qwen3.6-35B-A3B）：周报/归因/分析——本地分析主力（智商≈Claude 3.5 Sonnet 级）</b></li>
|
||
<li>bge-m3：只做嵌入，不做推理</li>
|
||
<li>DeepSeek API：疑难兜底，月预算 200 内</li>
|
||
</ul></div>
|
||
<div class="box"><h4>RAG 效果调试清单（效果差先查这里，别怪模型）</h4><ul>
|
||
<li>☐ 知识库文档先清洗：去噪、去重、统一格式（直接用阶段一的数据资产包）</li>
|
||
<li>☐ 分块大小：500–1000 字/块，保留标题，别切碎</li>
|
||
<li>☐ 嵌入模型选对：bge-m3 中文效果好；top-k 先取 5–10 再调</li>
|
||
<li>☐ 检索结果人工抽查 10 条：检索相关了再上模型，检索不对模型再聪明也没用</li>
|
||
<li>☐ 提示词给足上下文：检索片段 + 问题 + 输出格式全部写进 prompt</li>
|
||
</ul></div>
|
||
<div class="box"><h4>微调决策树（前期默认不微调）</h4><ul>
|
||
<li>输出格式不固定 → 先改提示词（90% 情况解决）</li>
|
||
<li>行业术语/黑话多 → 先做 RAG 喂资料（再解决 80%）</li>
|
||
<li>真需要固定格式+术语 → 才考虑 QLoRA，且先用 7–14B 小模型练手，别一上来微调 30B</li>
|
||
</ul></div>
|
||
<div class="box"><h4>POC 先行操作（客户掏钱前必做）</h4><ul>
|
||
<li>客户真实数据（脱敏后）→ 云端 API 生成 1 份周报样例 + 1 份断码预警样例</li>
|
||
<li>拿样例跟老板过："本地跑的就是这个效果（数据不出厂），复杂部分云端补"</li>
|
||
<li>老板认可 → 下单硬件；不认可 → 先调数据/指标，别让硬件背锅</li>
|
||
</ul></div>
|
||
|
||
<footer>硬件与部署实现方案 v1.1 ｜ 内部技术底稿 ｜ 2026-08-04 ｜ 新增第 8 节本地模型效果风险控制（技术实操）｜ 配套：商业闭环运营基板 v1.9</footer>
|
||
</div>
|
||
</body>
|
||
</html>
|