meng shao@shao__meng

2026-07-08 09:13·2小时前

AI 摘要

该架构将ADE提取能力装入Lambda容器，由S3上传事件触发，实现文档即传即处理。支持Parse（返回层级JSON）和Extract（Pydantic schema绑定Markdown返回校验字段）两种模式。Batch处理单次调用可处理整prefix，15分钟超时内约处理80份。触发方式包括S3事件和直接调用。Schema Registry通过EXTRACTION_SCHEMAS字典实现新增文档类型仅需一个Pydantic类与一条字典项，handler零改动。审计功能使每个提取值回指产生它的chunk，元数据与字段同落JSON。

Serverless 文档处理流水线（ADE + Lambda + S3）

把 ADE 提取能力装进 Lambda 容器，由 S3 上传事件触发--上传即处理，不传即沉默，纯 AWS 原生设施。

架构三段 · 镜像：lambda/python：3.11 基底 + 依赖 + handler. py + config. py。 · ECR：build 脚本构建 arm64 → 登录 → 建 repo → tag → push。同账号存镜像，IAM 窄、延迟低、生命周期托管。 · Lambda：deploy 脚本建 role → 挂 CloudWatch 写权限 → 创建/更新函数（容器 URI、300s 超时、1024MB、API key 与 bucket 名入环境变量）。 · 配置收敛到单个 .env，冷启动经 config. py 加载。

两模式（payload 切换） · Parse：返回层级 JSON，喂 RAG/检索。 · Extract：Pydantic schema 绑定解析后的 Markdown，返回校验字段，直接落库。

Batch 一等公民：单次调用处理整 prefix，带进度条与逐文档计时。基准 11 份/119s（10.8s/份），15 分钟超时内约 80 份/调用，更大按 prefix 拆。

两触发方式 · S3 事件：ObjectCreated → handler 取 key → 下载 → 处理 → 结果 JSON 写回输出前缀。覆盖被动到达常态。 · 直接调用：notebook 演示回填/批跑，含统计与 CSV 导出。

Schema Registry--关键伸缩点 EXTRACTION_SCHEMAS 字典：类型名 → Pydantic 类。新增文档类型 = 一个类 + 一条字典项，handler 零改动。对比硬编码要重建容器+全量重部署，registry 把变更降到单文件级。Field（description=…）作为提取提示传给 ADE--schema 即规格说明。

审计每个提取值回指产生它的 chunk，元数据与字段同落一份 JSON--审计随数据走，不靠外部日志拼接。CloudWatch 兜底运营侧调试。