Machine Learning with Go

• Go를 활용한 머신 러닝 책을 docker 환경으로 구성하여 실습
• Pachyderm을 사용하여 pipeline 구축 실습
• 특히, 버전이 맞지 않아 책과 코드를 그대로 실행하지 못했던 것을 수정

Contents

1장 : 데이터 수집 및 구성

• Gopher 스타일로 데이터 처리하기
• CSV 파일
• JSON
• SQL 유형 데이터베이스 (Required PostgreSQL)
• Caching

2장 : 행렬, 확률, 통계

• 벡터
• 행렬
• 통계
• 확률 가설검정

3장 : 평가 및 검증

• 평가
• 검증

4장 : 회귀분석

• 선형 회귀분석
• 다중 선형 회귀분석
• 비선형 회귀분석

5장 : 분류

• 로지스틱 회귀분석
• k-최근접 이웃 모델
• 의사결정 나무
• 나이브 베이즈

6장 : 클러스터링

• 유사도 측정하기
• 클러스터링 기법 평가하기
• k-평균 클러스터링

7장 : 시계열 분석 및 이상 감지

• 시계열 데이터 표현하기
• 시계열 통계
• 자동 회귀 모델
• 이상 감지

8장 : 신경망 및 딥러닝

• 간단한 신경망 구축하기
• 간단한 신경망 활용하기
• 딥러닝 | [How to use]

9장 : 분석 결과 및 모델 배포하기

• 선형 회귀 모델 Dockerizing | [How to use]
• 다중 회귀 모델 Dockerizing | [How to use]
• Docker로 모델 예측 수행하기 | [How to use]
• 머신 러닝 파이프라인 구축하기 (Required Pachyderm) | [How to use]

Environment

• Docker Desktop >= 2.5.0.1 (Recommended)
• Docker >= 19.03.8 (Recommended)
• make (Required)
• wsl2 (Only Windows) 👉 설치 가이드
  • Use wsl terminal, not CMD or PowerShell on Windows
• Golang >= 1.15 (In the container)
• PostgreSQL >= 13.1 (In the container)
• alpine >= 3.12 (In the container)
• pachyderm ~= 1.11.7 (only ch09)

How to use

Docker

• Compose up docker containers

  # Default
  (os)$ make up
  
  # With build go binaries
  (os)$ make up PKGS=1

• Start and enter the execution mode to the container

  (os)$ make run

• Stop docker containers

  (os)$ make stop

• Remove docker compose

  (os)$ make down

Build

(docker)$ cd tutorial_code_location
(docker)$ go build tutorial.go

# example
(docker)$ go build 01_read_csv_file.go

Execution

(docker)$ cd tutorial_code_location
(docker)$ ./tutorial

# example
(docker)$ ./01_read_csv_file

Aumotation

# build in anywhere
(docker)$ $MLGO/automation.sh build

# possible from ch01 to ch08
(docker)$ $MLGO/automation.sh build ch01

# clean up binary files in anywhere
(docker)$ $MLGO/automation.sh clean

# possible from ch01 to ch08 except deep_learning
(docker)$ $MLGO/automation.sh clean ch01

# execute binary files in anywhere
(docker)$ $MLGO/automation.sh run

# possible from ch01 to ch08 except deep_learning
(docker)$ $MLGO/automation.sh run ch01

Reference

• [Book] (번역) Go를 활용한 머신 러닝
• [Book] Machine Learning With Go
• [GitHub] Machine-Learning-With-Go
• [Docs] Pachyderm
• [Docs] Minikube