多平台采集与知识建模
使用 Playwright 与 Jina Reader 采集正文并归档 Markdown；采用多语言 SentenceTransformer 生成文本向量，写入 Milvus，记录平台、标题、URL、分块序号与内容哈希。
01 / CONTEXT
业务场景
广告平台帮助文档分散、部分资料仅提供英文，政策与操作说明持续更新。围绕团队日常查阅需求，建设从官方文档采集、清洗入库到检索问答的完整链路。
KNOWLEDGE WORKSPACE流程示意
官方帮助文档01 / DOCUMENTS
语义检索与重排02 / RETRIEVAL
来源与依据03 / EVIDENCE
KNOWLEDGE & RAG
每一个回答，
都有据可查。ANSWER & SOURCES ↗
官方资料 → 语义检索 → 溯源问答
TECHNOLOGY & DATA
技术与数据来源
检索与重排
使用余弦相似度召回候选，过滤无效内容并进行规则评分；提供可选 BGE-Reranker 精排，模型不可用时回退至规则重排。
问答与任务编排
通过 CrewAI 串联检索和生成，要求回答附来源链接，保存 Markdown / JSON 结果；Redis / ARQ 支持异步抓取、翻译清洗与刷新任务。
02 / WORKFLOW
工作流程
01
采集官方帮助文档按平台配置入口、域名范围及文章规则，发现链接并归档正文。
03 / DECISIONS
关键设计
答案可以回查
保留文档来源与分块信息，让团队能够回到官方帮助页面核验政策和操作细节。
知识可以持续维护
利用内容指纹、版本记录和增量识别管理文档变化，隔离单页失败，避免异常抓取导致已有知识被误判失效。
异常有明确反馈
检索失败、资料不足或生成异常时返回明确状态；重排模型不可用时保留规则回退路径。
04 / DELIVERY
交付与应用
建立覆盖 14 个平台入口配置的采集体系，形成“采集—清洗—入库—检索—问答”完整链路，为团队提供统一的自然语言知识查询入口，并支持归档、去重和增量维护。
实践边界
资料覆盖取决于平台采集范围与更新情况，14 个平台指已配置的入口。回答保留来源供核验，具体操作仍需以最新官方政策为准。