蒸馏给你两个东西:一套网站内容,一份结构化知识库。机器人怎么接、接在哪、数据归谁——这篇给三种做法,代码可以直接抄,30 分钟能跑起来。
SI 网站右下角那个气泡就是。蒸馏完成自动挂上,问答走平台知识库,不需要你做任何事。
知识库导出到你自己的服务器,回答用你自己的 DeepSeek / Claude / Gemini Key。用户问题不经过平台。
模型也自己部署(vLLM / Ollama),知识库、推理、日志全在厂内网。断网也能答。
| 东西 | 在哪拿 | 用来干什么 | 没有会怎样 |
|---|---|---|---|
| 知识库 JSON | 蒸馏结果页 → 知识库导出 | 检索、回答依据 | 机器人只能瞎编 |
| 网站内容 / 页面结构 | 蒸馏产物 · SI 网站 | 挂载气泡、跳转链接 | 没有落地页 |
| 模型 API Key | DeepSeek / 阿里百炼 / Claude 控制台 | 生成回答 | 无法推理 |
| 一个域名或子域 | 你现有的域名解析 | 给后端 API 用 | 只能本机测试 |
curl https://golddigger.gold/textile/api/chat/kb 返回 36 段以上才算合格。少于 10 段,回去补 BRIEF 里的主营产品和认证。# 拉取段落索引,落到工厂自己的机器 curl -s https://golddigger.gold/textile/api/chat/kb > kb_index.json # 段落正文(蒸馏产物里的原文,需登录后下载) # 也可在 结果页 → 4 件产物 → 知识库 直接下载 kb.json ls -lh kb.json # 30–80 KB,正常
格式是 {id, title, tags, text} 的数组。text 里就是工厂产能、认证、工艺参数这些事实。
| 模型 | 适合 | 参考价(输入/输出,每百万 token) | 注意 |
|---|---|---|---|
| deepseek-chat | 中文问答、报价解释 | 约 ¥1 / ¥2 | 国内直连,最省事 |
| qwen-plus | 长文档、表格 | 约 ¥0.8 / ¥2 | 阿里云实名 |
| claude-sonnet | 英文邮件、合规措辞 | 约 $3 / $15 | 需海外支付 |
| gemini-flash | 多语言、图片理解 | 约 $0.3 / $2.5 | 色卡识别好用 |
import os, json, httpx from fastapi import FastAPI from fastapi.middleware.cors import CORSMiddleware from pydantic import BaseModel KB = json.load(open("kb.json", encoding="utf-8")) # 第 1 步导出的 KEY = os.environ["LLM_API_KEY"] # 你自己的 Key BASE= os.environ.get("LLM_BASE", "https://api.deepseek.com/v1") MODEL=os.environ.get("LLM_MODEL", "deepseek-chat") app = FastAPI() app.add_middleware(CORSMiddleware, allow_origins=["https://你的域名.com"], allow_methods=["POST"]) def search(q, k=4): toks = [t for t in q.lower().split() if len(t) > 1] hit = [(sum(t in s["text"].lower() for t in toks), s) for s in KB] return [s for n, s in sorted(hit, key=lambda x: -x[0]) if n > 0][:k] class Ask(BaseModel): message: str @app.post("/api/bot") async def bot(q: Ask): hits = search(q.message) ctx = "\n\n".join(f"[{h['id']}] {h['title']}\n{h['text']}" for h in hits) sys = ("你是这家工厂的外贸客服。只依据资料回答;" "资料里没有就说不知道,并给出转人工方式。" "不承诺合规结论,价格以报价单为准。") async with httpx.AsyncClient(timeout=30) as c: r = await c.post(f"{BASE}/chat/completions", headers={"Authorization": f"Bearer {KEY}"}, json={"model": MODEL, "temperature": 0.2, "messages": [{"role": "system", "content": sys}, {"role": "user", "content": f"资料:\n{ctx}\n\n问题:{q.message}"}]}) return {"reply": r.json()["choices"][0]["message"]["content"], "sources": [h["id"] for h in hits]}
关键在 system prompt 的三条限制:只依据资料、不知道就说不知道、不承诺合规结论。少一条,机器就会替你把 GOTS 说成"全部通过"。
<!-- 放在蒸馏后网站的 </body> 前 --> <style> #gdw{position:fixed;right:16px;bottom:16px;width:300px;max-width:92vw;background:#0B1220; border:1px solid rgba(255,255,255,.12);border-radius:12px;overflow:hidden;z-index:9999; font:13px/1.6 -apple-system,"PingFang SC",sans-serif} #gdw-log{max-height:300px;overflow:auto;padding:10px;display:flex;flex-direction:column;gap:6px} .gdw-m{padding:7px 9px;border-radius:8px;background:rgba(255,255,255,.06);color:#E6EDF6} .gdw-m.me{background:#0E7490;color:#fff;align-self:flex-end} #gdw-in{display:flex;border-top:1px solid rgba(255,255,255,.08)} #gdw-q{flex:1;background:transparent;border:0;color:#fff;padding:9px;font-size:12px;outline:0} #gdw-s{background:#0E7490;color:#fff;border:0;padding:0 12px;font-size:12px;cursor:pointer} </style> <script> (function(){ var API = "https://bot.你的域名.com/api/bot"; var box = document.createElement("div"); box.innerHTML = '<div id="gdw"><div id="gdw-log"></div>' + '<div id="gdw-in"><input id="gdw-q" placeholder="问产能 / 认证 / MOQ…">' + '<button id="gdw-s">发送</button></div></div>'; document.body.appendChild(box); function add(t, me){ var d = document.createElement("div"); d.className = "gdw-m " + (me ? "me" : "ai"); d.textContent = t; // 用 textContent,防 XSS document.getElementById("gdw-log").appendChild(d); } async function send(){ var i = document.getElementById("gdw-q"), q = i.value.trim(); if(!q) return; add(q, true); i.value = ""; try{ var r = await fetch(API, {method:"POST", headers:{"Content-Type":"application/json"}, body: JSON.stringify({message:q})}); var j = await r.json(); add(j.reply || "暂时没有回复,请留下邮箱。"); }catch(e){ add("网络异常,请稍后再试。"); } } document.getElementById("gdw-s").onclick = send; document.getElementById("gdw-q").onkeydown = function(e){ if(e.key==="Enter") send(); }; })(); </script>
/api/bot,模型 Key 存在服务器环境变量里。前端直连模型 = 第二天被刷爆。bot.你的域名.com {
reverse_proxy 127.0.0.1:8010
}
[Unit] Description=Factory AI Bot After=network.target [Service] WorkingDirectory=/opt/factory-bot EnvironmentFile=/opt/factory-bot/.env ExecStart=/opt/factory-bot/venv/bin/uvicorn \ bot_server:app --host 127.0.0.1 --port 8010 Restart=always [Install] WantedBy=multi-user.target
cd /opt/factory-bot python3 -m venv venv && venv/bin/pip install fastapi uvicorn httpx # .env 里只放服务端密钥,权限 600 printf 'LLM_API_KEY=sk-你的key\nLLM_MODEL=deepseek-chat\n' > .env chmod 600 .env systemctl daemon-reload && systemctl enable --now factory-bot curl -s localhost:8010/api/bot -H 'content-type: application/json' \ -d '{"message":"你们能做什么认证的面料"}'
| 维度 | A 平台托管 | B 自有模型 | C 完全自托管 |
|---|---|---|---|
| 上线时间 | 0 分钟 | 半天 | 1–2 天 |
| 数据经过平台 | 是 | 否 | 否 |
| 月成本 | 含在托管 | ¥30–80 | 显卡 + 电 |
| 能接自家报价单 | 否 | 是 | 是 |
| 能改人设 / 话术 | 有限 | 完全 | 完全 |
| 断网可用 | 否 | 否 | 是 |
| 平台抽佣 | 0 | 0 | 0 |
取决于 system prompt。上面那段示例写了三条硬限制(只依据资料、不知道就说不知道、不承诺合规结论)。除此之外建议再加一句「交期以 PI 为准」。写死在提示词里,比事后改回答可靠。
要。产品、认证、价格三类变化后,重新导出 kb.json 并重启服务即可(30 秒)。如果不想手动,把导出接口挂个每日 0:00 的 cron,重启交给 systemd。
方式 B/C 可以——对话日志在你自己的服务器上,落库后就是客户画像。方式 A 不提供原始对话导出,只能看到平台侧的统计。
可以。后端 /api/bot 是标准 HTTP,WhatsApp Business API 的 webhook 收到消息后转一次请求即可。区别是 WhatsApp 要处理 24 小时会话窗口和模板消息审核。
外贸问答的事实性比文采重要。只要检索命中、提示词约束住"不编",DeepSeek 这类模型已经够用。真正拉低质量的是知识库缺段落,不是模型。
不用。代码里 BASE / MODEL 是环境变量,OpenAI 兼容协议的厂商换一个值就行。Claude、Gemini 各有一个适配层,改动不超过 20 行。