开发日志 2026-08-11
文章目录开发日志 2026-08-11周二今日概览一、前端弹层遮罩偏移修复客户项目A二、软著申报材料生成客户项目A大任务三、爬虫功能架构梳理与云端迁移规划客户项目A四、crawler-data 页面数据全为 0 修复客户项目A五、crawlab 内存 / goroutine 泄漏分析与部署策略客户项目A六、LLM 网关参数透传确认客户项目A七、跨境电商 7 月利润报表项目B八、多仓库发版与 Drone 凭据安全化客户项目A九、视觉分析流水线与工具十、CSDN 发布能力准备复盘与后续开发日志 2026-08-11周二今日概览今天共产生 36 个 Codex 会话DeepSeek 主会话 大量 Qwen 视觉分析子会话主要工作前端弹层遮罩偏移 bug 修复客户项目A软著申报材料生成信息采集表 → md → Word源代码 / 操作手册硬性页数、行数、页眉、页码要求爬虫功能架构梳理与云端迁移规划客户项目Acrawler-data 页面数据全为 0 修复crawlab 内存 / goroutine 泄漏分析与 k3s 部署策略分析LLM 网关参数透传确认跨境电商 7 月利润报表生成项目B多仓库 arm 分支发版与 Drone 凭据安全化Qwen 视觉分析流水线落地、anydoc 安装CSDN 发布技能准备用于本日志发布一、前端弹层遮罩偏移修复客户项目A背景业务模块乙、业务模块丙、业务模块丁的「查看详情」弹窗出现灰色遮罩向下偏移底部露出大片空白。用户提供了截图并指定参考页面让排查。排查过程用 Qwen 视觉模型分析截图确认遮罩覆盖范围与偏移方向对照代码发现 fixed 定位的弹层被父级space-y间距整体向下推遮罩随之错位。关键决策用户给出两个方向改该遮罩的 CSS或去掉遮罩换简单重构。考虑到改动面与回归风险选择最稳的「给 fixed 弹层自身加!m-0」方案——7 个文件、17 行改动不动交互逻辑。产出提交11d9acdrebase 到最新 origin/master 后推送无冲突。附带收获排查期间定位并永久修复了 Qwen 图片请求「偶发 400」的根因Codex 默认用 WebSocket 连百炼而百炼校验器不认input_image图片格式报 400HTTP 接口认。修复方式在[model_providers.bailian]配置里加supports_websockets false。之前「时好时坏」其实是协议差异不是网关随机故障。二、软著申报材料生成客户项目A大任务背景将《2026 有材料信息采集表》等软著信息采集表转成 md再整理对应模块在项目中的前后端源代码与操作手册最终输出 Word 文档。硬性要求源代码前后端各至少 30 页合计 ≥60 页、每页 ≥50 行代码、页眉标注软件名称与版本号与采集表一致、右上角页码、末页必须是程序结束页操作手册需嵌入实机截图。思路与工具链docx → md使用 anydoc当天全局安装v0.1.8md → docxpandocA4 版面实机截图playwright-cli 连接用户 Chrome 截取先误用 CDP 连 Electron 桌面端导致截错图改为直接连 Chrome 后正常质量检查Word 转 PDF / QuickLook 渲染用 Qwen 视觉模型逐页核对排版、中文是否乱码、页眉页码是否可见产出均在软著材料 outputs 目录报告智能审核模块源代码 91 页前端 35 后端 56每页 56~89 行操作手册含审核列表实机截图芯片产品手册参数提取模块源代码 110 页前端 44 后端 66每页 56~90 行操作手册含 3 张实机截图每个模块同时输出 md 与 docx 双格式踩坑中文字体未嵌入导致 PDF 渲染方块乱码——通过视觉检查发现Word/QuickLook 渲染正常QuickLook 页码域显示为空白是渲染限制非文档问题截图来源选错Electron 桌面端 vs Chrome——换用 playwright-cli 连 Chrome 解决三、爬虫功能架构梳理与云端迁移规划客户项目A背景计划把本地爬虫迁移到云服务器云端主要用爬虫智能体制作并运行爬虫脚本。做法梳理出爬虫不是单点而是贯穿桌面端与云端的链路用 mermaid 输出架构图本地前端宿主壳 → 桌面端爬虫页面 → Electron 本地服务任务 / API 代理 / SSE 转发→ 爬虫智能体引擎含采集技能→ 本地运行时Node/Python/Playwright/Chromium→ 本地 SQLite云端认证服务、业务网关爬虫接口 / LLM 代理 / 运行时安装包托管、LLM 编排服务、Crawlab master worker调度 / 执行 Python Playwright 脚本 / SeaweedFS / MongoDB、落库消费服务PDF → OCR → 结构化 → 审核目标站点为芯片厂商资料站点结论迁移视角明确智能体引擎与运行时上云认证与网关沿用现有云端服务本地保留宿主壳与登录态。四、crawler-data 页面数据全为 0 修复客户项目A现象数据采集成果页面点任意集合查看数据全部显示 0但实际存在数据日志同时报 crawlab mongo ping 失败localhost:27017 connection refused。排查与修复根因在结果集合统计与「关注任务」解析bson.D 解析方式导致统计恒为 0。修复结果存储模块40 行并新增 3 个回归测试。产出提交7ac098brebase 后推送 master工作区干净。五、crawlab 内存 / goroutine 泄漏分析与部署策略客户项目A目标分析 CrawlabARM 版爬虫任务 / 数据是否持续挤占内存直到完成分析。结论结果数据从不清理长期占用磁盘与内存更关键的是 gRPC 订阅流泄漏每个任务初始化时创建一条任务订阅客户端流结束后未释放goroutine / 内存随任务数持续累积——重启才能释放。已制定修复计划取消订阅流、结果集合大小清理与限制。修复涉及 Crawlab 改造计划 docker 双架构armamd构建后发布到阿里云镜像仓库。部署侧分析docs/k3s/中 Crawlab 是唯一显式用Recreate策略的服务其他项目均为滚动更新或默认 RollingUpdate。原因master 使用 hostPort 直绑 hostPath 有状态卷滚动更新会先起新 Pod 导致 hostPort 冲突、双实例同读写工作区数据不安全。因此 Recreate 是有意为之代价是升级短暂停机若要改滚动更新需先把 hostPort 改为 ClusterIP/NodePort 或走网关。六、LLM 网关参数透传确认客户项目A确认 LLM 网关配置文件的extra_body是自由透传 map会原样合并进请求体顶层chat_template_kwargs如enable_thinking、reasoning_effort放里面可正常传到上游。提醒reasoning_effort需字符串DashScope 兼容模式的惯用姿势是把enable_thinking直接放extra_body顶层。七、跨境电商 7 月利润报表项目B输入Amazon 交易报告5~8 月结算行 第三方费用报表平台 7 月费用报表ASIN 级无 MSKU 列。做法与关键决策月份按交易释放日期归属7 月费用按既定口径归集广告、FBA 仓储、月租等新报表无 MSKU 列复用 6 月报表的 ASIN→SKU 映射7 个 ASIN 全部命中1 个无对应 SKU 且 7 月无销量单独成行缺失成本数据货本头程、退货、弃置等留空公式按 0 参与计算用户填数后自动重算。产出利润报表_202607.xlsx38 列与 4/5/6 月同口径LibreOffice 重算、0 公式错误回归重跑 6 月数据与旧报表完全一致。八、多仓库发版与 Drone 凭据安全化客户项目A检查各项目 arm 分支与 master 的落后情况除 core-server 外统一发版随后全部切回 masteraidoc-server 的.drone.yml中 docker 镜像仓库凭据由明文改为from_secret引用提交ff865f9明文密码已从仓库移除。九、视觉分析流水线与工具大量 Qwen百炼图片分析子会话modal 遮罩定位、软著 Word/PDF 渲染检查中文乱码、页眉页码、爬虫看板截图、OCR 页面、博客页面等验证了「codex -p qwen exec -i 图片 描述」的视觉分析链路anydoc 全局安装v0.1.8打通 docx/pptx/xlsx/PDF → Markdown 的转换。十、CSDN 发布能力准备今天创建了 amlei-csdn-post 技能复用已登录的 Chromium 浏览器远程调试端口 CDP驱动 CSDN 官方 Markdown 编辑器自动插入目录、归类标签/专栏、填摘要并发布并把「每日开发日志」自动化新增「发布到 CSDN」步骤即本次运行。复盘与后续可复用经验UI 排查与文档质量检查用视觉模型Qwen exec比人工看图快得多图片接口报 400 先查协议差异WebSocket vs HTTP软著材料的 md→docx 流水线已打通可复用到其余模块。待办Crawlab 订阅流泄漏修复落地改代码、双架构镜像构建、发布到镜像仓库、更新 k3s 部署爬虫云端迁移实施软著其余模块材料生成CSDN 文章发布与元数据核对
