InduMine é um projeto independente, educacional e de código aberto.
Não é afiliado, endossado ou associado à WEG S.A.
O scraper coleta apenas dados técnicos públicos do catálogo industrial disponível no site da empresa.
Nenhum dado proprietário, sigiloso, autenticado ou protegido é utilizado.
Este projeto atingiu sua arquitetura principal (v1.0) após mais de 100 commits solo do fundador, expandindo-se posteriormente para um esforço colaborativo.
 Deyvid Barcelos 🏗️ Lead Architect |
 Lucas G. S. Nardes 💻 Desenvolvedor |
 Kaua M. De Souza 💻 Desenvolvedor |
|---|
InduMine é uma plataforma full-stack de coleta, organização e visualização de dados industriais, capaz de:
- Raspar catálogos de produtos complexos via Selenium Assíncrono.
- Processar e normalizar dados técnicos com Pandas.
- Persistir dados estruturados em MySQL utilizando SQLAlchemy ORM.
- Visualizar em um dashboard moderno construído com React + TypeScript + Vite.
| Camada | Tecnologias |
|---|---|
| Data Scraping | Python, Selenium (Async), BeautifulSoup4 |
| Backend | FastAPI, SQLAlchemy ORM, Pydantic |
| Frontend | React 18, TypeScript, Vite, Tailwind CSS, shadcn/ui |
| Database | MySQL 8.0 |
| DevOps | Docker, Docker Compose, GitHub Actions |
.
├── backend/ # API FastAPI & Modelagem
│ ├── models/ # Tabelas SQLAlchemy (Users, Products)
│ ├── routes/ # Endpoints da API
│ ├── schemas/ # Validação Pydantic
│ └── configuration/ # Mapeamentos e categorias de extração
├── etl/ # Scripts de Mineração de Dados
│ ├── weg_crawler.py # Script de crawling específico
│ └── Miner.py # Core engine de scraping assíncrono
├── front-end/ # Dashboard React + TS
│ ├── src/components/ui/ # Componentes reutilizáveis (shadcn)
│ └── src/App.tsx # Orquestração da interface
├── docker-compose.yml # Orquestração de containers
└── .github/workflows/ # CI/CD (GitHub Actions)
- Docker & Docker Compose OU
- Python 3.10+ e Node.js 18+
docker-compose up --build
cd backend
pip install -r requirements.txt
python app.py
cd front-end
npm install
npm run dev