Skip to content
/ colymer Public

Lightweight Content Polymerizing Engine & Management System

License

Notifications You must be signed in to change notification settings

touuki/colymer

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

41 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

colymer

这是什么?

colymer项目的目标是将各个不同平台的信息内容抽象成统一的数据结构后汇集到一起,实现信息的聚集与展示。但是目前来说我没精力写前端数据展示部分,因此现阶段它主要作为我爬虫的数据存储引擎,另外还包含了一个通用的“直接传输附件下载器”用来下载图片视频等内容。

关于用法

本项目采用MongoDB作为数据库存储文本数据以及爬虫的扫描辅助信息,因此需要自行搭建MongoDB。附件存储的话有计划做成支持各种云存储的,但是现阶段对我来说本地存储够用,因此目前只有本地存储,想扩展的话也很简单,写个实现DefaultStorage类中所有公共方法的类在storage/index.js替换掉导出即可。
样本配置文件在config/develop.json中,可以照着另写一个json文件,然后在config/index.js中进行替换导出。
克隆下载项目后运行npm install进行安装,设置好配置文件后运行npm start即可启动www服务。
下载器是单独的,可运行node bin/dtad启动,配置文件和www是同一个,支持PAC代理模式,可以在配置文件中设置PAC文件。
(我知道文档写的很烂,但是我实在太忙了,也不指望能让人看懂了,先这样吧……)

About

Lightweight Content Polymerizing Engine & Management System

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages