 v6ole
|
d84c838e76
|
chore: 删除 dead code — markdown 文件生成功能
onu.md 和 markdown_generated 从未被实际使用，是旧项目遗留代码
|
2026-05-10 13:59:34 +08:00 |
|
|
v6ole
|
cbeb3c3504
|
fix: 连接 Pipeline 到爬取流程 + 夜间跳过 + 断网恢复
- CrawlService.run_spider 现在自动调用 PostCrawlPipeline（爬取→存储→筛选→去重→推送）
- 定时任务添加 22:00-06:00 夜间跳过逻辑
- 断网恢复后不会漏公告：爬虫每次从 API 按日期倒序抓取，未推送的公告下次自动补推
- Pipeline 的 _exclude_sent + mark_sent 防止重复推送
|
2026-05-09 16:10:30 +08:00 |
|
|
v6ole
|
d851dafea9
|
fix: 防止重复推送通知 — 添加已发送检查 + GXGP 标记已发送
- Pipeline 新增 _exclude_sent() 方法，通知前查询数据库跳过 is_sent=True 的公告
- GXGP Spider mark_sent 改为 True，配合去重逻辑防止每次爬取重复通知
|
2026-05-09 16:00:04 +08:00 |
|
|
v6ole
|
7455d7e426
|
chore: ruff 代码检查与修复
130 issues auto-fixed (import ordering, UP045/UP006 type annotations),
33 issues manually fixed (E712/E501/E402/E722 + N818 rename + per-file
wechat ignore for N8xx naming conventions). All 33 tests pass.
|
2026-05-09 14:28:09 +08:00 |
|
|
v6ole
|
5e0582d499
|
feat: 添加 Dahuagov Spider（大化县政府网爬虫）+ 测试
|
2026-05-09 13:47:48 +08:00 |
|
|
v6ole
|
b1bbf64287
|
feat: 添加 GXGP Spider（广西政府采购网爬虫）+ 测试
|
2026-05-09 13:44:45 +08:00 |
|
|
v6ole
|
7db14ee411
|
feat: 添加数据解析器模块 + 测试
|
2026-05-09 13:41:35 +08:00 |
|
|
v6ole
|
d9af819d2e
|
feat: 添加 Spider 基类 + Pipeline 配置 + 测试
|
2026-05-09 13:37:40 +08:00 |
|