# 广西政府采购网公告监控系统

广西政府采购网公告爬取和监控的智能系统，支持多种公告类型的自动爬取、智能筛选、数据存储和通知推送。

## 功能特性

### 🕷️ 智能爬虫监控
- 自动爬取广西政府采购网(zfcg.gxzf.gov.cn)的各类采购公告
- 支持10+种公告类型：采购公告、结果公告、合同公告、更正公告、招标文件预公示、单一来源公示、电子卖场公示、履约验收公示、工程类公告、框架协议征集公告等
- 智能反爬虫机制：随机User-Agent、代理轮换、请求延迟控制

### 🎯 多维度智能筛选
- **关键词过滤**：支持多关键词精确匹配和模糊匹配
- **日期范围筛选**：支持开始日期和结束日期过滤
- **自动去重**：基于内容哈希的智能去重机制
- **来源筛选**：按公告类型进行筛选

### 💾 数据持久化存储
- **PostgreSQL数据库**：高效的数据存储和查询
- **自动清理**：默认90天数据保留，可配置
- **性能优化**：连接池、索引优化、批量操作

### 🔔 高可用性保障
- **重试机制**：指数退避重试策略
- **超时控制**：连接超时和读取超时设置
- **幂等操作**：防止重复处理
- **异常处理**：完善的异常捕获和恢复
- **结构化日志**：详细的运行日志记录

### 📱 通知系统
- **企业微信通知**：支持文本和Markdown格式消息
- **实时推送**：新公告发现即时通知
- **系统告警**：异常情况自动告警

### 📊 Markdown输出
- **自动生成**：将公告输出为Markdown格式文件（onu.md）
- **结构化展示**：按来源分组、时间排序
- **今日高亮**：突出显示今日发布的公告

## 安装和使用

### 环境要求
- Python 3.8+
- PostgreSQL 12+

### 安装步骤

1. **克隆项目**
```bash
cd /path/to/your/workspace
# 项目已创建在 gx_gp_monitor 目录下
```

2. **创建虚拟环境**
```bash
python3 -m venv venv
source venv/bin/activate  # Linux/Mac
# 或
venv\Scripts\activate     # Windows
```

3. **安装依赖**
```bash
pip install -r requirements.txt
```

4. **配置数据库**
```bash
# 创建PostgreSQL数据库
createdb gx-gp-notify

# 修改配置文件 config/config.yaml 中的数据库连接信息
```

5. **修改配置**
```bash
# 编辑 config/config.yaml 文件
# 设置数据库连接、企业微信配置、关键词等
```

### 使用方法

#### 命令行使用

```bash
# 查看帮助
python main.py --help

# 执行一次爬取
python main.py crawl

# 带参数爬取
python main.py crawl --keywords "大化" "信息化" --max-pages 5

# 启动调度器（定时任务）
python main.py scheduler

# 数据清理
python main.py cleanup --days 30

# 查看系统状态
python main.py status
```

#### 编程接口使用

```python
from gx_gp_monitor.crawler.spider import crawl_announcements
from gx_gp_monitor.filters.filters import filter_from_config
from gx_gp_monitor.storage.postgresql import save_announcements_to_storage
from gx_gp_monitor.storage.md_generator import generate_onu_md
from gx_gp_monitor.notification.wechat import send_announcements_notification

# 执行爬取
results = crawl_announcements()

# 筛选公告
filter_obj = filter_from_config()
filtered_announcements, stats = filter_obj.filter(all_announcements)

# 保存到数据库
saved_count = save_announcements_to_storage(filtered_announcements)

# 生成Markdown文件
generate_onu_md(filtered_announcements)

# 发送通知
send_announcements_notification(filtered_announcements)
```

## 配置说明

### 主要配置文件：`config/config.yaml`

```yaml
# 调试模式
debug: false

# 日志配置
log_level: INFO
log_file: logs/gx_gp_monitor.log

# 爬虫配置
crawler:
  base_url: "https://zfcg.gxzf.gov.cn"
  timeout: 30
  max_retries: 3
  keyword: ["大化", "信息化"]  # 关键词筛选
  max_pages: 10

# 数据库配置
database:
  enabled: true
  host: "localhost"
  port: 5432
  name: "gx-gp-notify"
  user: "your_user"
  password: "your_password"
  data_retention_days: 90

# 企业微信配置
wechat_app:
  enabled: true
  corp_id: "your_corp_id"
  agent_id: "your_agent_id"
  secret: "your_secret"
  token: "your_token"
  encoding_aes_key: "your_aes_key"

# 调度配置
scheduler:
  enabled: true
  jobs:
    - name: "daily_crawl"
      cron: "0 8,14,18 * * *"
      enabled: true
```

### 公告来源配置

系统支持以下公告类型：

- `ZcyAnnouncement1`: 采购公告
- `ZcyAnnouncement2`: 结果公告
- `ZcyAnnouncement3`: 合同公告
- `ZcyAnnouncement4`: 更正公告
- `ZcyAnnouncement5`: 招标文件预公示
- `ZcyAnnouncement6`: 单一来源公示
- `ZcyAnnouncement7`: 电子卖场公示
- `ZcyAnnouncement10`: 履约验收公示
- `ZcyAnnouncement11`: 工程类公告
- `ZcyAnnouncement20`: 框架协议征集公告
- `ZcyAnnouncement21`: 框架协议入围结果公告
- `ZcyAnnouncement23`: 框架协议成交结果汇总公告
- `61-266648`: 采购意向公开

## 架构设计

```
gx_gp_monitor/
├── config/           # 配置管理
├── core/            # 核心模块
│   ├── models.py           # 数据模型
│   ├── config_manager.py   # 配置管理
│   ├── database.py         # 数据库操作
│   ├── logger.py           # 日志管理
│   └── reliability.py      # 高可用性
├── crawler/         # 爬虫模块
│   ├── spider.py           # 爬虫核心
│   └── parsers.py          # 数据解析
├── filters/         # 筛选模块
├── storage/         # 存储模块
│   ├── postgresql.py       # PostgreSQL存储
│   └── md_generator.py     # Markdown生成
├── notification/    # 通知模块
├── scheduler/       # 调度模块
└── main.py          # 主程序入口
```

## 日志和监控

### 日志文件
- 默认日志文件：`logs/gx_gp_monitor.log`
- 日志轮转：10MB大小限制，保留5个备份文件
- 日志级别：DEBUG、INFO、WARNING、ERROR、CRITICAL

### 监控指标
- 爬取统计：成功/失败次数、响应时间
- 数据统计：公告数量、新增数量、去重统计
- 系统状态：内存使用、磁盘空间、健康检查

## 故障排除

### 常见问题

1. **数据库连接失败**
   - 检查PostgreSQL服务是否运行
   - 验证数据库连接配置
   - 确认用户权限

2. **爬虫请求失败**
   - 检查网络连接
   - 验证目标网站是否可访问
   - 调整请求间隔和重试策略

3. **企业微信通知失败**
   - 检查企业微信配置
   - 验证应用ID和密钥
   - 确认网络能访问企业微信API

4. **权限问题**
   - 确保日志目录和输出文件目录有写入权限
   - 检查数据库用户权限

### 调试模式

启用调试模式获取更详细的日志：

```yaml
debug: true
log_level: DEBUG
```

## 许可证

本项目采用 MIT 许可证。

## 贡献

欢迎提交Issue和Pull Request来改进这个项目。

## 版本历史

- **v1.0.0** (2024-01-XX)
  - 初始版本发布
  - 支持10+种公告类型爬取
  - 实现智能筛选和去重
  - PostgreSQL数据存储
  - 企业微信通知
  - Markdown文件输出
  - 定时任务调度