数据抓取工具
jsoup爬虫->mysql->cannal->kafka->logstash->elasticsearch->kibana
使用较新的版本搭建一个完整的数据流
Test开头的工程是一些连接或者特定功能测试的代码。deploy_tool是为了方便生成一个测试环境的工具
进展情况: 目前主要在处理提取数据到mysql,项目的其它部分还不能运行。
| Name | Name | Last commit date | ||
|---|---|---|---|---|
数据抓取工具
jsoup爬虫->mysql->cannal->kafka->logstash->elasticsearch->kibana
使用较新的版本搭建一个完整的数据流
Test开头的工程是一些连接或者特定功能测试的代码。deploy_tool是为了方便生成一个测试环境的工具
进展情况: 目前主要在处理提取数据到mysql,项目的其它部分还不能运行。