61 lines (51 loc) · 4.62 KB

关注的项目

大数据框架

项目名称	说明	项目地址	领域	类型
flink	流计算框架	https://github.com/apache/flink https://flink.apache.org/	大数据、流计算	开源框架
flink-training-course	flink学习资料	https://github.com/flink-china/flink-training-course	大数据、流计算	学习资料
flinkx	基于flink的分布式数据同步工具	https://github.com/DTStack/flinkx	大数据、ETL	开源软件
calcite	sql分析框架	https://github.com/apache/calcite	打数据、元数据	开源框架
Alink	基于流计算的机器学习框架	https://github.com/alibaba/Alink	机器学习	开源框架
incubator-samoa	在线机器学习框架（孵化中）	https://github.com/apache/incubator-samoa	机器学习	开源框架
AthenaX	基于flink1.5的SQL流处理平台	https://github.com/uber/AthenaX	大数据、流计算	开源框架

大数据工具

项目名称	说明	项目地址	领域	类型
maxwell	Mysql-binlog采集	https://github.com/zendesk/maxwell http://maxwells-daemon.io/	流采集	开源框架
canal	Mysql-binlog采集	https://github.com/alibaba/canal	流采集	开源框架
pravega	流存储	https://github.com/pravega/pravega http://pravega.io	大数据流计算	开源软件
delta	基于spark的数据湖软件	https://github.com/delta-io/delta https://docs.delta.io/latest/index.html	大数据	开源软件

元数据

项目名称	说明	项目地址	领域	类型
SchemaCrawler	RDBMS元数据采集工具	https://github.com/schemacrawler/SchemaCrawler http://www.schemacrawler.com/	元数据	开源框架
metacat	元数据采集工具	https://github.com/Netflix/metacat	大数据、元数据	开源框架
metabase	数据库元数据发现以及输出报表	https://github.com/metabase/metabas/ https://www.metabase.com/	大数据、元数据	开源软件
metamodel	提供用于发现，元数据浏览和查询不同类型数据源的通用接口	https://github.com/apache/metamodel http://metamodel.apache.org/ https://cwiki.apache.org/confluence/display/METAMODEL https://issues.apache.org/jira/browse/METAMODEL	大数据统一访问	开源软件
system-designer	BS数据模型设计工具	https://github.com/design-first/system-designer	元数据	开源软件
pentaho-metadata-editor	CS的元数据管理工具支持模型	https://github.com/pentaho/pentaho-metadata-editor https://wiki.pentaho.com/display/ServerDoc2x/Pentaho+Metadata+Editor	元数据	开源软件
Datablau Data Modeler	专业建模工具	http://www.datablau.cn/product/ddm	数据模型	商业软件
MetaEdit	BS模型设计工具	https://www.metacase.com/	元数据	商业软件

开源平台与工具

项目名称	说明	项目地址	领域	类型
WhereHows	linkedin带有元数据管理的数据平台	https://https://github.com/linkedin/WhereHows	数据平台	开源平台
-------	-------	-------	-------	-------
DataSphereStudio	微众银行数据中台	https://github.com/WeBankFinTech/DataSphereStudio	数据中台	开源平台
DataSphereStudio-Scriptis	数据开发IDE工具	https://github.com/WeBankFinTech/Scriptis	数据中台	开源软件
DataSphereStudio-Visualis	数据可视化工具	https://github.com/WeBankFinTech/Visualis	数据中台	开源软件
DataSphereStudio-Qualitis	数据质量管理工具	https://github.com/WeBankFinTech/Qualitis	数据中台	开源软件
DataSphereStudio-Azkaban	工作流调度工具	https://azkaban.github.io/	数据中台	开源软件
metabase	数据库元数据发现以及输出报表	https://github.com/metabase/metabas/ https://www.metabase.com/	大数据、元数据	开源软件
-------	-------	-------	-------	-------
-------	宜信数据中台	-------	数据中台	开源平台
DBus	数据采集工具	https://github.com/BriData/DBus	数据中台	开源软件
wormhole	数据处理工具	https://github.com/edp963/wormhole	数据中台	开源软件
davinci	数据可视化工具	https://github.com/edp963/davinci	数据中台	开源软件

质量管理

项目名称	说明	项目地址	领域	类型
griffin	质量检查框架	https://github.com/apache/griffin http://griffin.apache.org/	数据质量管理	开源软件
sonarqube	代码质量扫描工具	https://github.com/SonarSource/sonarqube/	代码质量管理	开源软件
sonar-l10n-zh	sonar国际化	https://github.com/SonarQubeCommunity/sonar-l10n-zh/	代码质量管理	开源软件