Enhance announcement storage functionality by adding a method to save all announcements by source, retaining the latest 100 per source. Update related logging and comments for clarity. Adjusted the main script to utilize the new storage method and log the saving process. Updated the markdown file timestamp.

logs/gx_gp_monitor.log

@@ -21,3 +21,194 @@
 2026-01-07 17:29:21 - gx_gp_monitor.scheduler.scheduler - INFO - 添加间隔任务: custom_task (30秒)
 2026-01-07 17:32:05 - gx_gp_monitor.scheduler.scheduler - INFO - 添加定时任务: data_cleanup (0 2 * * *)
 2026-01-07 17:32:05 - gx_gp_monitor.scheduler.scheduler - INFO - 移除任务: data_cleanup
+2026-01-08 09:29:31 - __main__ - INFO - === 广西政府采购网公告监控系统启动 ===
+2026-01-08 09:29:31 - __main__ - INFO - 版本: 1.0.0
+2026-01-08 09:29:31 - __main__ - INFO - 配置文件: 默认配置
+2026-01-08 09:29:32 - core.reliability - INFO - 健康检查通过
+2026-01-08 09:29:32 - core.database - INFO - 数据库连接池初始化成功
+2026-01-08 09:29:32 - core.database - INFO - 开始初始化数据库表结构
+2026-01-08 09:29:32 - core.database - INFO - 数据库表结构初始化完成
+2026-01-08 09:29:32 - storage.postgresql - INFO - 存储初始化完成
+2026-01-08 09:29:32 - __main__ - INFO - 应用初始化完成
+2026-01-08 09:29:33 - __main__ - INFO - === 广西政府采购网公告监控系统启动 ===
+2026-01-08 09:29:33 - __main__ - INFO - 版本: 1.0.0
+2026-01-08 09:29:33 - __main__ - INFO - 配置文件: 默认配置
+2026-01-08 09:29:33 - core.reliability - INFO - 健康检查通过
+2026-01-08 09:29:33 - core.database - INFO - 数据库连接池初始化成功
+2026-01-08 09:29:33 - core.database - INFO - 开始初始化数据库表结构
+2026-01-08 09:29:33 - core.database - INFO - 数据库表结构初始化完成
+2026-01-08 09:29:33 - storage.postgresql - INFO - 存储初始化完成
+2026-01-08 09:29:33 - __main__ - INFO - 应用初始化完成
+2026-01-08 09:29:33 - __main__ - INFO - 开始执行爬取任务
+2026-01-08 09:29:33 - crawler.spider - INFO - 开始爬取 13 个公告来源
+2026-01-08 09:29:33 - gx_gp_monitor - INFO - 开始爬取 采购公告
+2026-01-08 09:29:34 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:34 - gx_gp_monitor - INFO - 采购公告 爬取完成，共获取 100 条公告，耗时 0.47秒
+2026-01-08 09:29:34 - gx_gp_monitor - INFO - 开始爬取 结果公告
+2026-01-08 09:29:34 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:34 - gx_gp_monitor - INFO - 结果公告 爬取完成，共获取 100 条公告，耗时 0.24秒
+2026-01-08 09:29:34 - gx_gp_monitor - INFO - 开始爬取 合同公告
+2026-01-08 09:29:34 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:34 - gx_gp_monitor - INFO - 合同公告 爬取完成，共获取 100 条公告，耗时 0.26秒
+2026-01-08 09:29:34 - gx_gp_monitor - INFO - 开始爬取 更正公告
+2026-01-08 09:29:34 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:34 - gx_gp_monitor - INFO - 更正公告 爬取完成，共获取 100 条公告，耗时 0.19秒
+2026-01-08 09:29:34 - gx_gp_monitor - INFO - 开始爬取 招标文件预公示
+2026-01-08 09:29:35 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:35 - gx_gp_monitor - INFO - 招标文件预公示 爬取完成，共获取 100 条公告，耗时 0.17秒
+2026-01-08 09:29:35 - gx_gp_monitor - INFO - 开始爬取 单一来源公示
+2026-01-08 09:29:35 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:35 - gx_gp_monitor - INFO - 单一来源公示 爬取完成，共获取 100 条公告，耗时 0.22秒
+2026-01-08 09:29:35 - gx_gp_monitor - INFO - 开始爬取 电子卖场公示
+2026-01-08 09:29:35 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:35 - gx_gp_monitor - INFO - 电子卖场公示 爬取完成，共获取 100 条公告，耗时 0.37秒
+2026-01-08 09:29:35 - gx_gp_monitor - INFO - 开始爬取 履约验收公示
+2026-01-08 09:29:35 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:35 - gx_gp_monitor - INFO - 履约验收公示 爬取完成，共获取 100 条公告，耗时 0.17秒
+2026-01-08 09:29:35 - gx_gp_monitor - INFO - 开始爬取 工程类公告
+2026-01-08 09:29:35 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:35 - gx_gp_monitor - INFO - 工程类公告 爬取完成，共获取 100 条公告，耗时 0.18秒
+2026-01-08 09:29:35 - gx_gp_monitor - INFO - 开始爬取 框架协议征集公告
+2026-01-08 09:29:36 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:36 - gx_gp_monitor - INFO - 框架协议征集公告 爬取完成，共获取 100 条公告，耗时 0.25秒
+2026-01-08 09:29:36 - gx_gp_monitor - INFO - 开始爬取 框架协议入围结果公告
+2026-01-08 09:29:36 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:36 - gx_gp_monitor - INFO - 框架协议入围结果公告 爬取完成，共获取 100 条公告，耗时 0.18秒
+2026-01-08 09:29:36 - gx_gp_monitor - INFO - 开始爬取 框架协议成交结果汇总公告
+2026-01-08 09:29:36 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:36 - gx_gp_monitor - INFO - 框架协议成交结果汇总公告 爬取完成，共获取 100 条公告，耗时 0.18秒
+2026-01-08 09:29:36 - gx_gp_monitor - INFO - 开始爬取 采购意向公开
+2026-01-08 09:29:36 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:36 - gx_gp_monitor - INFO - 采购意向公开 爬取完成，共获取 100 条公告，耗时 0.18秒
+2026-01-08 09:29:36 - crawler.spider - INFO - 爬取完成: 共处理 13 个来源，成功 13 个，失败 0 个，获取 1300 条公告
+2026-01-08 09:29:36 - __main__ - INFO - 爬取到 1300 条原始公告
+2026-01-08 09:29:36 - storage.postgresql - INFO - 开始按来源保存 1300 条公告，每个来源最多保留 100 条
+2026-01-08 09:29:36 - core.database - INFO - 批量保存公告完成，成功保存 1 条
+2026-01-08 09:29:36 - storage.postgresql - INFO - 来源 ZcyAnnouncement1 保存了 1 条公告
+2026-01-08 09:29:36 - core.database - INFO - 批量保存公告完成，成功保存 1 条
+2026-01-08 09:29:36 - storage.postgresql - INFO - 来源 ZcyAnnouncement2 保存了 1 条公告
+2026-01-08 09:29:36 - core.database - INFO - 批量保存公告完成，成功保存 1 条
+2026-01-08 09:29:36 - storage.postgresql - INFO - 来源 ZcyAnnouncement3 保存了 1 条公告
+2026-01-08 09:29:36 - core.database - INFO - 批量保存公告完成，成功保存 0 条
+2026-01-08 09:29:36 - storage.postgresql - INFO - 来源 ZcyAnnouncement4 保存了 0 条公告
+2026-01-08 09:29:36 - core.database - INFO - 批量保存公告完成，成功保存 1 条
+2026-01-08 09:29:36 - storage.postgresql - INFO - 来源 ZcyAnnouncement5 保存了 1 条公告
+2026-01-08 09:29:36 - core.database - INFO - 批量保存公告完成，成功保存 1 条
+2026-01-08 09:29:36 - storage.postgresql - INFO - 来源 ZcyAnnouncement6 保存了 1 条公告
+2026-01-08 09:29:36 - core.database - INFO - 批量保存公告完成，成功保存 1 条
+2026-01-08 09:29:36 - storage.postgresql - INFO - 来源 ZcyAnnouncement7 保存了 1 条公告
+2026-01-08 09:29:36 - core.database - INFO - 批量保存公告完成，成功保存 1 条
+2026-01-08 09:29:36 - storage.postgresql - INFO - 来源 ZcyAnnouncement10 保存了 1 条公告
+2026-01-08 09:29:36 - core.database - INFO - 批量保存公告完成，成功保存 1 条
+2026-01-08 09:29:36 - storage.postgresql - INFO - 来源 ZcyAnnouncement11 保存了 1 条公告
+2026-01-08 09:29:36 - core.database - INFO - 批量保存公告完成，成功保存 1 条
+2026-01-08 09:29:36 - storage.postgresql - INFO - 来源 ZcyAnnouncement20 保存了 1 条公告
+2026-01-08 09:29:36 - core.database - INFO - 批量保存公告完成，成功保存 1 条
+2026-01-08 09:29:36 - storage.postgresql - INFO - 来源 ZcyAnnouncement21 保存了 1 条公告
+2026-01-08 09:29:36 - core.database - INFO - 批量保存公告完成，成功保存 1 条
+2026-01-08 09:29:36 - storage.postgresql - INFO - 来源 ZcyAnnouncement23 保存了 1 条公告
+2026-01-08 09:29:36 - core.database - INFO - 批量保存公告完成，成功保存 1 条
+2026-01-08 09:29:36 - storage.postgresql - INFO - 来源 61-266648 保存了 1 条公告
+2026-01-08 09:29:36 - storage.postgresql - INFO - 按来源保存完成，总计保存 12 条公告
+2026-01-08 09:29:36 - __main__ - INFO - 保存所有公告完成：共保存 12 条，按来源统计: {'ZcyAnnouncement1': 1, 'ZcyAnnouncement2': 1, 'ZcyAnnouncement3': 1, 'ZcyAnnouncement4': 0, 'ZcyAnnouncement5': 1, 'ZcyAnnouncement6': 1, 'ZcyAnnouncement7': 1, 'ZcyAnnouncement10': 1, 'ZcyAnnouncement11': 1, 'ZcyAnnouncement20': 1, 'ZcyAnnouncement21': 1, 'ZcyAnnouncement23': 1, '61-266648': 1}
+2026-01-08 09:29:36 - filters.filters - INFO - 来源筛选: 1300 -> 1300 条公告
+2026-01-08 09:29:37 - filters.filters - INFO - 去重筛选: 移除了 1300 条重复公告
+2026-01-08 09:29:37 - filters.filters - INFO - 关键词筛选: 0 -> 0 条公告
+2026-01-08 09:29:37 - filters.filters - INFO - 筛选完成: 总数 1300 -> 筛选后 0 (关键词: 0, 日期: 0, 去重: 1300, 来源: 0)
+2026-01-08 09:29:37 - __main__ - INFO - 筛选后剩余 0 条公告
+2026-01-08 09:29:37 - storage.md_generator - INFO - Markdown文件已保存到: onu.md (共 0 条公告)
+2026-01-08 09:29:37 - __main__ - INFO - 爬取任务完成: {'success': True, 'total_crawled': 1300, 'filtered': 0, 'saved': 0, 'markdown_generated': True, 'notification_sent': False, 'filter_stats': {'keyword_filtered': 0, 'date_filtered': 0, 'duplicate_filtered': 1300, 'source_filtered': 0}}
+2026-01-08 09:29:38 - __main__ - INFO - === 广西政府采购网公告监控系统启动 ===
+2026-01-08 09:29:38 - __main__ - INFO - 版本: 1.0.0
+2026-01-08 09:29:38 - __main__ - INFO - 配置文件: 默认配置
+2026-01-08 09:29:39 - core.reliability - INFO - 健康检查通过
+2026-01-08 09:29:39 - core.database - INFO - 数据库连接池初始化成功
+2026-01-08 09:29:39 - core.database - INFO - 开始初始化数据库表结构
+2026-01-08 09:29:39 - core.database - INFO - 数据库表结构初始化完成
+2026-01-08 09:29:39 - storage.postgresql - INFO - 存储初始化完成
+2026-01-08 09:29:39 - __main__ - INFO - 应用初始化完成
+2026-01-08 09:29:39 - __main__ - INFO - 开始执行爬取任务
+2026-01-08 09:29:39 - crawler.spider - INFO - 开始爬取 13 个公告来源
+2026-01-08 09:29:39 - gx_gp_monitor - INFO - 开始爬取 采购公告
+2026-01-08 09:29:39 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:39 - gx_gp_monitor - INFO - 采购公告 爬取完成，共获取 100 条公告，耗时 0.46秒
+2026-01-08 09:29:39 - gx_gp_monitor - INFO - 开始爬取 结果公告
+2026-01-08 09:29:39 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:39 - gx_gp_monitor - INFO - 结果公告 爬取完成，共获取 100 条公告，耗时 0.21秒
+2026-01-08 09:29:39 - gx_gp_monitor - INFO - 开始爬取 合同公告
+2026-01-08 09:29:40 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:40 - gx_gp_monitor - INFO - 合同公告 爬取完成，共获取 100 条公告，耗时 0.20秒
+2026-01-08 09:29:40 - gx_gp_monitor - INFO - 开始爬取 更正公告
+2026-01-08 09:29:40 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:40 - gx_gp_monitor - INFO - 更正公告 爬取完成，共获取 100 条公告，耗时 0.19秒
+2026-01-08 09:29:40 - gx_gp_monitor - INFO - 开始爬取 招标文件预公示
+2026-01-08 09:29:40 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:40 - gx_gp_monitor - INFO - 招标文件预公示 爬取完成，共获取 100 条公告，耗时 0.23秒
+2026-01-08 09:29:40 - gx_gp_monitor - INFO - 开始爬取 单一来源公示
+2026-01-08 09:29:40 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:40 - gx_gp_monitor - INFO - 单一来源公示 爬取完成，共获取 100 条公告，耗时 0.20秒
+2026-01-08 09:29:40 - gx_gp_monitor - INFO - 开始爬取 电子卖场公示
+2026-01-08 09:29:41 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:41 - gx_gp_monitor - INFO - 电子卖场公示 爬取完成，共获取 100 条公告，耗时 0.43秒
+2026-01-08 09:29:41 - gx_gp_monitor - INFO - 开始爬取 履约验收公示
+2026-01-08 09:29:41 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:41 - gx_gp_monitor - INFO - 履约验收公示 爬取完成，共获取 100 条公告，耗时 0.22秒
+2026-01-08 09:29:41 - gx_gp_monitor - INFO - 开始爬取 工程类公告
+2026-01-08 09:29:41 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:41 - gx_gp_monitor - INFO - 工程类公告 爬取完成，共获取 100 条公告，耗时 0.22秒
+2026-01-08 09:29:41 - gx_gp_monitor - INFO - 开始爬取 框架协议征集公告
+2026-01-08 09:29:41 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:41 - gx_gp_monitor - INFO - 框架协议征集公告 爬取完成，共获取 100 条公告，耗时 0.21秒
+2026-01-08 09:29:41 - gx_gp_monitor - INFO - 开始爬取 框架协议入围结果公告
+2026-01-08 09:29:41 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:41 - gx_gp_monitor - INFO - 框架协议入围结果公告 爬取完成，共获取 100 条公告，耗时 0.20秒
+2026-01-08 09:29:41 - gx_gp_monitor - INFO - 开始爬取 框架协议成交结果汇总公告
+2026-01-08 09:29:42 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:42 - gx_gp_monitor - INFO - 框架协议成交结果汇总公告 爬取完成，共获取 100 条公告，耗时 0.20秒
+2026-01-08 09:29:42 - gx_gp_monitor - INFO - 开始爬取 采购意向公开
+2026-01-08 09:29:42 - crawler.parsers - INFO - 成功解析 100/100 条公告记录
+2026-01-08 09:29:42 - gx_gp_monitor - INFO - 采购意向公开 爬取完成，共获取 100 条公告，耗时 0.18秒
+2026-01-08 09:29:42 - crawler.spider - INFO - 爬取完成: 共处理 13 个来源，成功 13 个，失败 0 个，获取 1300 条公告
+2026-01-08 09:29:42 - __main__ - INFO - 爬取到 1300 条原始公告
+2026-01-08 09:29:42 - storage.postgresql - INFO - 开始按来源保存 1300 条公告，每个来源最多保留 100 条
+2026-01-08 09:29:42 - core.database - INFO - 批量保存公告完成，成功保存 0 条
+2026-01-08 09:29:42 - storage.postgresql - INFO - 来源 ZcyAnnouncement1 保存了 0 条公告
+2026-01-08 09:29:42 - core.database - INFO - 批量保存公告完成，成功保存 0 条
+2026-01-08 09:29:42 - storage.postgresql - INFO - 来源 ZcyAnnouncement2 保存了 0 条公告
+2026-01-08 09:29:42 - core.database - INFO - 批量保存公告完成，成功保存 0 条
+2026-01-08 09:29:42 - storage.postgresql - INFO - 来源 ZcyAnnouncement3 保存了 0 条公告
+2026-01-08 09:29:42 - core.database - INFO - 批量保存公告完成，成功保存 0 条
+2026-01-08 09:29:42 - storage.postgresql - INFO - 来源 ZcyAnnouncement4 保存了 0 条公告
+2026-01-08 09:29:42 - core.database - INFO - 批量保存公告完成，成功保存 0 条
+2026-01-08 09:29:42 - storage.postgresql - INFO - 来源 ZcyAnnouncement5 保存了 0 条公告
+2026-01-08 09:29:42 - core.database - INFO - 批量保存公告完成，成功保存 0 条
+2026-01-08 09:29:42 - storage.postgresql - INFO - 来源 ZcyAnnouncement6 保存了 0 条公告
+2026-01-08 09:29:42 - core.database - INFO - 批量保存公告完成，成功保存 0 条
+2026-01-08 09:29:42 - storage.postgresql - INFO - 来源 ZcyAnnouncement7 保存了 0 条公告
+2026-01-08 09:29:42 - core.database - INFO - 批量保存公告完成，成功保存 0 条
+2026-01-08 09:29:42 - storage.postgresql - INFO - 来源 ZcyAnnouncement10 保存了 0 条公告
+2026-01-08 09:29:42 - core.database - INFO - 批量保存公告完成，成功保存 0 条
+2026-01-08 09:29:42 - storage.postgresql - INFO - 来源 ZcyAnnouncement11 保存了 0 条公告
+2026-01-08 09:29:42 - core.database - INFO - 批量保存公告完成，成功保存 0 条
+2026-01-08 09:29:42 - storage.postgresql - INFO - 来源 ZcyAnnouncement20 保存了 0 条公告
+2026-01-08 09:29:42 - core.database - INFO - 批量保存公告完成，成功保存 0 条
+2026-01-08 09:29:42 - storage.postgresql - INFO - 来源 ZcyAnnouncement21 保存了 0 条公告
+2026-01-08 09:29:42 - core.database - INFO - 批量保存公告完成，成功保存 0 条
+2026-01-08 09:29:42 - storage.postgresql - INFO - 来源 ZcyAnnouncement23 保存了 0 条公告
+2026-01-08 09:29:42 - core.database - INFO - 批量保存公告完成，成功保存 0 条
+2026-01-08 09:29:42 - storage.postgresql - INFO - 来源 61-266648 保存了 0 条公告
+2026-01-08 09:29:42 - storage.postgresql - INFO - 按来源保存完成，总计保存 0 条公告
+2026-01-08 09:29:42 - __main__ - INFO - 保存所有公告完成：共保存 0 条，按来源统计: {'ZcyAnnouncement1': 0, 'ZcyAnnouncement2': 0, 'ZcyAnnouncement3': 0, 'ZcyAnnouncement4': 0, 'ZcyAnnouncement5': 0, 'ZcyAnnouncement6': 0, 'ZcyAnnouncement7': 0, 'ZcyAnnouncement10': 0, 'ZcyAnnouncement11': 0, 'ZcyAnnouncement20': 0, 'ZcyAnnouncement21': 0, 'ZcyAnnouncement23': 0, '61-266648': 0}
+2026-01-08 09:29:42 - filters.filters - INFO - 来源筛选: 1300 -> 1300 条公告
+2026-01-08 09:29:42 - filters.filters - INFO - 去重筛选: 移除了 1300 条重复公告
+2026-01-08 09:29:42 - filters.filters - INFO - 关键词筛选: 0 -> 0 条公告
+2026-01-08 09:29:42 - filters.filters - INFO - 筛选完成: 总数 1300 -> 筛选后 0 (关键词: 0, 日期: 0, 去重: 1300, 来源: 0)
+2026-01-08 09:29:42 - __main__ - INFO - 筛选后剩余 0 条公告
+2026-01-08 09:29:42 - storage.md_generator - INFO - Markdown文件已保存到: onu.md (共 0 条公告)
+2026-01-08 09:29:42 - __main__ - INFO - 爬取任务完成: {'success': True, 'total_crawled': 1300, 'filtered': 0, 'saved': 0, 'markdown_generated': True, 'notification_sent': False, 'filter_stats': {'keyword_filtered': 0, 'date_filtered': 0, 'duplicate_filtered': 1300, 'source_filtered': 0}}
+2026-01-08 09:29:47 - gx_gp_monitor.core.database - INFO - 数据库连接池初始化成功
+2026-01-08 09:29:47 - gx_gp_monitor.core.database - INFO - 数据库连接池初始化成功
+2026-01-08 09:29:49 - gx_gp_monitor.core.database - INFO - 数据库连接池初始化成功
+2026-01-08 09:29:49 - gx_gp_monitor.core.database - INFO - 数据库连接池初始化成功
+2026-01-08 09:29:52 - gx_gp_monitor.core.database - INFO - 数据库连接池初始化成功
+2026-01-08 09:29:52 - gx_gp_monitor.core.database - INFO - 数据库连接池初始化成功