 v6ole
|
68215aa804
|
fix: 改进正文提取，支持政采云 SPA API 和大化县政府网 div.article-con
- 新增 _extract_zcy_content(): 通过政采云隐藏 API 获取公告正文
- 新增 _extract_dahuagov_content(): 大化县专用提取，支持 div.article-con
- 通用提取器新增更多选择器
|
2026-05-26 15:47:48 +08:00 |
|
|
v6ole
|
754214692e
|
feat: 接入 DeepSeek AI 分析公告是否为中国电信可承接项目
- 新增 ai_enabled/ai_api_key/ai_base_url/ai_model 等配置项，通过 .env 管理
- 新增 app/services/ai_analyzer.py — DeepSeek API 调用 + 详情页正文提取
- 新增 extract_page_content() 从详情页抓取正文供 AI 分析
- Announcement 模型新增 ai_relevant / ai_analysis 字段
- 流水线集成 AI 分析步骤（关键词匹配后、通知前）
- AI 标记为可承接的项目额外发送 markdown 着重通知
- 创建 alembic 迁移版本 6e8f4c2d1b0a
|
2026-05-26 11:45:51 +08:00 |
|
|
v6ole
|
b2d0503bc2
|
fix: 大化县政府网公告抓取详情页获取精确发布时间
列表页只有日期(00:00)，改为并发抓取详情页解析 <meta name="PubDate">
获取精确时分秒，失败时保留列表页日期作为 fallback。
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
|
2026-05-12 17:16:33 +08:00 |
|
|
v6ole
|
77c6722a92
|
fix: 修复广西政采网公告时间时区错误
fromtimestamp() 在 UTC 服务器上会少 8 小时，改为明确指定 Asia/Shanghai 时区解析。
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
|
2026-05-12 10:21:26 +08:00 |
|
|
v6ole
|
d84c838e76
|
chore: 删除 dead code — markdown 文件生成功能
onu.md 和 markdown_generated 从未被实际使用，是旧项目遗留代码
|
2026-05-10 13:59:34 +08:00 |
|
|
v6ole
|
cbeb3c3504
|
fix: 连接 Pipeline 到爬取流程 + 夜间跳过 + 断网恢复
- CrawlService.run_spider 现在自动调用 PostCrawlPipeline（爬取→存储→筛选→去重→推送）
- 定时任务添加 22:00-06:00 夜间跳过逻辑
- 断网恢复后不会漏公告：爬虫每次从 API 按日期倒序抓取，未推送的公告下次自动补推
- Pipeline 的 _exclude_sent + mark_sent 防止重复推送
|
2026-05-09 16:10:30 +08:00 |
|
|
v6ole
|
d851dafea9
|
fix: 防止重复推送通知 — 添加已发送检查 + GXGP 标记已发送
- Pipeline 新增 _exclude_sent() 方法，通知前查询数据库跳过 is_sent=True 的公告
- GXGP Spider mark_sent 改为 True，配合去重逻辑防止每次爬取重复通知
|
2026-05-09 16:00:04 +08:00 |
|
|
v6ole
|
7455d7e426
|
chore: ruff 代码检查与修复
130 issues auto-fixed (import ordering, UP045/UP006 type annotations),
33 issues manually fixed (E712/E501/E402/E722 + N818 rename + per-file
wechat ignore for N8xx naming conventions). All 33 tests pass.
|
2026-05-09 14:28:09 +08:00 |
|
|
v6ole
|
5e0582d499
|
feat: 添加 Dahuagov Spider（大化县政府网爬虫）+ 测试
|
2026-05-09 13:47:48 +08:00 |
|
|
v6ole
|
b1bbf64287
|
feat: 添加 GXGP Spider（广西政府采购网爬虫）+ 测试
|
2026-05-09 13:44:45 +08:00 |
|
|
v6ole
|
7db14ee411
|
feat: 添加数据解析器模块 + 测试
|
2026-05-09 13:41:35 +08:00 |
|
|
v6ole
|
d9af819d2e
|
feat: 添加 Spider 基类 + Pipeline 配置 + 测试
|
2026-05-09 13:37:40 +08:00 |
|