MES 抓包与重传（mes_sniffer_resender_cli）

一个用于旁路抓取 TCP/HTTP POST(JSON) 报文并离线重传到 MES 的实用 CLI + Web UI 工具。核心特性：

✅ 使用 gopacket + tcpassembly 对 TCP 流进行会话重组，解析 http.ReadRequest
✅ 自动识别 Content-Type: application/json 的 POST 请求
✅ 将报文与元信息写入 BoltDB（本地 spool.db）
✅ 提供Web 界面（默认 http://127.0.0.1:8080）用于列表、筛选（按 SN）、单条/批量重传
✅ 提供交互式 CLI 用于配置、控制抓包、重传与状态观察
✅ 可配置 BPF 过滤器，仅抓取指向 MES Host/Port 的流量
✅ 支持超时控制、错误信息记录、重试次数统计

适用于产线设备→MES 的 HTTP/JSON 报文旁路抓取与补发场景。

快速开始

# 1) 获取源码
# 假设当前目录包含 main 文件：mes_sniffer_resender_cli.go

# 2) 编译（需要 Go 1.20+）
go build -o mes-sniffer ./

# 3) 运行（首次会生成默认 config.json 与 spool.db）
./mes-sniffer

# 4) 在 CLI 里进行配置（至少设置网卡）
> list-ifaces          # 查看可用网卡
> set iface "eth0"     # 或 Windows 下如 "\Device\NPF_{GUID}"
> set host 192.168.111.239
> set port 9888
> set mes-url http://192.168.111.239:9888/eam/snTest/PostInsertTest
> save
> start                # 启动抓包

# 5) 打开 Web 界面
# 浏览器访问 http://127.0.0.1:8080

编译 & 运行

环境要求

Go 1.20+（推荐 1.21/1.22）
平台：Linux / Windows / macOS
抓包驱动：
- Linux：需具有 CAP_NET_RAW 或 root 权限
- Windows：安装 Npcap（WinPcap 兼容）
- macOS：需要 libpcap，并以管理员权限运行

依赖（已在源码中导入）

github.com/google/gopacket
go.etcd.io/bbolt
github.com/google/uuid

这些依赖将由 go mod 自动拉取。

构建

go build -trimpath -ldflags "-s -w" -o mes-sniffer ./

运行

./mes-sniffer -config /path/to/config.json   # 可选，默认为工作目录下 config.json

启动后会显示：

配置文件路径
Web 界面地址（默认 http://127.0.0.1:8080）

权限与依赖

抓包需要底层网卡访问权限：

Linux：sudo ./mes-sniffer 或给予二进制 CAP_NET_RAW 能力：
```
sudo setcap cap_net_raw,cap_net_admin=eip ./mes-sniffer
```
Windows：安装 Npcap，以管理员身份运行终端。
macOS：首次运行可能触发权限提示，需允许网络抓包。

配置说明

配置文件：config.json（程序自动创建/更新）。字段如下：

字段	类型	说明	默认
`iface`	string	抓包网卡名称	空（必须设置）
`host`	string	目标 MES IP/主机名（用于自动 BPF）	`192.168.111.239`
`port`	int	目标 MES 端口	`9888`
`mes_url`	string	默认重传目标 URL	`http://192.168.111.239:9888/eam/snTest/PostInsertTest`
`db_path`	string	BoltDB 文件路径	`spool.db`
`ui_addr`	string	Web 监听地址	`:8080`
`bpf_filter`	string	自定义 BPF（留空时自动生成）	空
`timeout_sec`	int	HTTP 重传超时（秒）	`10`

若设置了 bpf_filter，将完全覆盖自动生成的过滤规则。

自动 BPF 规则

当 bpf_filter 留空时，程序按配置生成：

tcp and dst host <host> and dst port <port>

CLI 命令

进入程序后，内置交互式命令可用于配置/控制：

help                       显示帮助
wizard                     向导填写配置（网卡、MES、端口等）
show                       查看当前配置
save                       保存当前配置到 config.json
list-ifaces                列出可用网卡
start                      启动抓包
stop                       停止抓包
status                     查看抓包状态
set iface "<网卡名>"        设置网卡
set host 192.168.111.239   设置 MES IP
set port 9888              设置 MES 端口
set mes-url http://...     设置默认重传 URL
set timeout 10             设置重传超时（秒）
set bpf "<表达式>"         自定义 BPF 过滤
resend id=<ID> [url=<URL>] 立刻重传某条记录（可临时覆盖 URL）
retry-all [sn=<SN>]        批量重传 captured/failed（可按 SN 过滤）
exit                       退出程序

提示：修改配置后可 save 落盘，或直接 start 让新配置生效。

Web 界面

默认监听 http://127.0.0.1:8080。

列表字段：时间、SN（从 JSON 中解析 sn）、测试结果（testResult）、状态（captured/sent/failed）、URL Path、尝试次数
顶部支持按 SN 筛选（包含于 Body 或汇总字段皆可）
操作：
- 查看：原始 JSON（已 HTML 转义）
- 重传：对单条记录发送到 mes_url（或 CLI resend 指定 URL）
- 批量重传：对列表中 captured/failed 状态全部尝试重传

Web 与 CLI 可同时使用；Web 仅作操作层，数据仍落在 BoltDB。

数据结构

BoltDB 表（bucket: `spool`）

每条记录为一份 SpoolItem（JSON 序列化）：

{
  "id": "uuid",
  "captured_at": "2025-01-01T12:00:00Z",
  "method": "POST",
  "url": "http://host:port/path",
  "host": "host:port",
  "path": "/path",
  "headers": { "Content-Type": ["application/json"] },
  "body_b64": "<base64(JSON)>",
  "status": "captured|sent|failed",
  "attempts": 0,
  "last_tried": "2025-01-01T12:34:56Z",
  "last_error": "",
  "summary": { "sn": "...", "testResult": "..." },
  "peer": "<dstIP:dstPort>"
}

Body 以 Base64 保存，避免编码问题；Web 查看时自动解码并转义。

工作原理

抓包层：使用 pcap 在指定网卡上按 BPF 过滤接收数据包。
TCP 重组：tcpassembly 将同一 TCP 连接的分片重组为有序字节流。
HTTP 解析：对重组后的数据流使用 http.ReadRequest 解析，仅处理 POST 且 Content-Type 包含 application/json 的请求。
入库：将请求元数据与 JSON Body（Base64）写入 BoltDB。
重传：
- 单条：使用原请求方法/头/体向指定 mes_url 发送。
- 批量：对未发送成功的记录进行遍历重试（可按 SN 过滤）。
状态更新：记录尝试次数、最后一次错误、时间戳，便于追踪。

常见问题

1) 看不到任何数据？

确认 网卡名称 设置正确（list-ifaces）
确认权限足够（root/Npcap/管理员）
确认 BPF 是否过于严格（尝试清空 bpf_filter 使用自动规则）
目标流量是否确实是 TCP → MES host:port 且 HTTP POST JSON

2) 抓到了但重传失败？

检查 config.json 的 mes_url 是否可达、路径是否正确
查看记录的 last_error（Web/CLI），是否为 4xx/5xx 或网络错误
超时可通过 set timeout 20 调大
某些 MES 需要鉴权/签名，当前仅转发原有 Authorization/Cookie 头；若缺少，请在上游补齐

3) Windows 网卡名字怎么填？

使用 list-ifaces 查看，形如 \Device\NPF_{XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX}，将整段填入 set iface "..."

4) 会不会抓到响应？

本工具仅解析请求（http.ReadRequest），不解析响应。

5) 如何限制数据保留量？

目前未内置过期/清理策略，可通过外部脚本或定期归档 spool.db。

安全建议

将 Web 绑定到 127.0.0.1（默认）并通过隧道/堡垒机访问；如需对外开放，请置于受控网络并加反向代理鉴权。
spool.db 含业务数据，请妥善备份与访问控制。
抓包进程拥有较高权限，建议最小化运行权限与暴露面。

系统服务示例（systemd）

/etc/systemd/system/mes-sniffer.service

[Unit]
Description=MES Sniffer & Resender
After=network-online.target
Wants=network-online.target

[Service]
WorkingDirectory=/opt/mes-sniffer
ExecStart=/opt/mes-sniffer/mes-sniffer -config /opt/mes-sniffer/config.json
AmbientCapabilities=CAP_NET_RAW CAP_NET_ADMIN
Restart=on-failure
RestartSec=5s
StandardOutput=journal
StandardError=journal

[Install]
WantedBy=multi-user.target

启用：

sudo systemctl daemon-reload
sudo systemctl enable --now mes-sniffer

变更记录

v0.1.0 初版：抓包、BoltDB 入库、Web/CLI 重传与过滤

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

MES 抓包与重传（mes_sniffer_resender_cli）

目录

快速开始

编译 & 运行

环境要求

依赖（已在源码中导入）

构建

运行

权限与依赖

配置说明

自动 BPF 规则

CLI 命令

Web 界面

数据结构

BoltDB 表（bucket: `spool`）

工作原理

常见问题

1) 看不到任何数据？

2) 抓到了但重传失败？

3) Windows 网卡名字怎么填？

4) 会不会抓到响应？

5) 如何限制数据保留量？

安全建议

系统服务示例（systemd）

变更记录

FilesExpand file tree

readme.md

Latest commit

History

readme.md

File metadata and controls

MES 抓包与重传（mes_sniffer_resender_cli）

目录

快速开始

编译 & 运行

环境要求

依赖（已在源码中导入）

构建

运行

权限与依赖

配置说明

自动 BPF 规则

CLI 命令

Web 界面

数据结构

BoltDB 表（bucket: spool）

工作原理

常见问题

1) 看不到任何数据？

2) 抓到了但重传失败？

3) Windows 网卡名字怎么填？

4) 会不会抓到响应？

5) 如何限制数据保留量？

安全建议

系统服务示例（systemd）

变更记录

BoltDB 表（bucket: `spool`）