181210 TWIL

To-Do-list

1. Insurance EDA 정리
2. Pandas
3. 12-5장까지 수학복습
4. MST 복습

오늘 한 일은 무엇인가

1. Insurance EDA 정리
2. (STUDY) A* 알고리즘 시각화
3. 선형회귀 개념 복습

내일 할 일은 무엇인가

1. 데이터톤
   

무엇을 느꼈는가

• 파이썬으로 작성한 A*알고리즘의 시각화코드를 작성하였다. 제일 빠른 길을 찾아 주었으나, 이것을 시각화하는
  것이 생각보다 어렵다. 그리고 좀더 동적으로 시각화를 해주고 싶은데, 좀더 삽질을 많이해봐야겠다.
  결과데이터를 보여주면 되겠지 했지만, 답을 얻는 과정을 세세하게 시각화하여 보여주는 것 역시 어려운 문제였다.
  비단 알고리즘을 보여주는 것만이 아니라, 지금 공부하는 모든 것이 아마 그럴 것이다.
• A* 알고리즘을 적용해서 주어진 미로의 최적의 길을 찾는 것은 미로의 크기가 커질수록 검증이 어렵다. 우리가
  작성한 알고리즘으로 풀어준 path가 진짜 제일 빠른 길인지 확인하는 방법이 무엇인가 하는 생각이 든다. 크기가
  작은 미로에서 우리가 한길 한길 찾아가는 정답과 맞아서, 알고리즘이 제대로 작동하고 있다고 생각했다. 하지만,
  점차 크기가 커지면서 정답이 맞는가 확인하는 것은 어려웠다. 작은단위에서 맞는 것이라고 해서, 큰 단위에서 내놓은 답이 과연 정답일 것인지는 어떻게 검증해야하는가. 우리가 소단위에서 다 맞춘 알고리즘이라고 해서 전부 믿어야 하는 것인가라는 생각이든다.
• 내일은 데이터톤이다. 여태까지 공부한 것을 적용해보고, 실제로 제한시간내에 데이터를 분석해야한다. 아직도 많이 모르고,
  아는 것도 확신하기 어려운데, 잘 할 수 있을지 걱정된다.

181209 TWIL

오늘 한 일은 무엇인가

1. Classification 복습 (Entropy, DecisionTree)
2. MySQL Query Code Imporvement, CodeReview
3. Insurance Data regression
4. Algorithm 추가 과제 (2진수, 8진수, 16진수)

내일 할 일은 무엇인가

1. MySQl, NOSQL 복습, 정리
2. Insurance Regression 과정 정리, 알게된 것들 정리
3. Pandas 4장, 7장, 9장 정리
4. Algorithm 추가 과제 마무리
5. 수학 12-5장까지 복습

181208 TWIL

오늘 한 일은 무엇인가

1. Decision Tree 연습문제 18.4.2 풀기
2. Imporve Flights_Delay Regression Project
3. Insurance Cost dataset EDA
4. MySQL Quiz 마무리

내일 할 일은 무엇인가

1. Classification 복습
2. MySQL 복습
3. MySQL Query Code Imporvement
4. Insurance Data EDA
5. Pandas 정리
6. Regression 수학 12-5장 복습

181207 TWIL

오늘 한 일은 무엇인가

1. Pandas 3장, 4장(일부)
2. (Project) 데이터셋 정하기

내일 할 일은 무엇인가

1. MySQL 복습, QUIZ 풀기
2. 새로운 데이터셋 EDA, Regression
3. Pandas 4장, 7장
4. 지난 프로젝트(Flight_Delay Regression) Update
5. 알고리즘 추가과제 하나씩 풀기

181205 TWIL

To-do-list : 오늘 할일

1. QDA, LDA, 나이브 베이지안 모델 복습, 정리

• 수식, Predict 과정 중심적으로 공부

2. (Study) A* 알고리즘 구현
3. Pandas 3장

오늘 한 일은 무엇인가

1. (Study) A* 알고리즘 손코딩
2. QDA, LDA, 나이브 베이지안 모델 복습, 정리

내일 할 일은 무엇인가

1. (Study) A* 알고리즘 구현
2. Pandas 3장

확률론적 생성모형 (Generative Model)

확률론적 생성모형의 기본 개념

• 우리가 궁금한 것은 $ x $ (features) 들이 있을 떄, $ y $가 어떤 Class 인지 맞추는 것이다. 맞추기 위해서는 training set 으로 부터 각 Class 마다 $ P(y \mid x) $의 모형을 알아내야 한다.

• 베이즈 정리를 이용하여, $ y=C_k $일 때의 조건부 확률을 구할 수 있다.
  $$
  P(y = C_k \mid x) = \dfrac{P(x \mid y = C_k); P(y = C_k)}{P(x)}
  $$

• 이 때, $ P(x \mid y = C_k) $
  == Likelihood
  == y가 k라는 클래스 일 때, x의 확률을 구하는 것이 관건

Likelihood 추정의 알고리즘

1. $ P(x \mid y = C_k) $ 가 ** 어떤 ** 확률분포를 따를 것이다라고 가정
   
   
   
2. x의 특성에 따라 우리가 알고 있는 특정 확률분포를 따른다! 라고 가정
   
   
   
3. Class k 를 만드는 data들을 통해 이 확률분포의 모수값을 구한다.
   
   
   
4. 모수값을 안다 == $ P(x \mid y = C_k) $ 의 pdf 를 알고 있다.
   
   
   
5. test set x 가 들어오면 $ P(x \mid y = C_k) $ 를 구할 수 있다.

181204 TWIL

오늘 한 일은 무엇인가

1. Heap 구조 공부, 코드 짜보기
2. Logistic Regression method 정리

내일 할 일은 무엇인가

1. QDA, LDA, 나이브 베이지안 모델 복습, 정리

• 특히, 수식들 정리 + Method보다는 predict 결과가 나오는 데까지 확률계산, 흐름 중점적으로 공부

2. (Study) A* 알고리즘 구현
3. Pandas 3장
   

무엇을 느꼈는가

• Heap 구조를 공부하면서, class 단위로 짜져 있는 코드들을 혼자서 구현하려면 어디서부터 계획을 세워야
  되는가에 대해 고민했다. 또한, 어떤 이슈가 있을 때, 어떤 알고리즘과 자료구조를 선택해야하는지에 대한 판단
  근거 역시 앞으로 정리 해야할 필요성을 느낀다.
• 우선 간단하게 알고 있는 데이터 구조 전체에 대해 서로 비교하여 장, 단점 정도 빠른시일 내에 정리해야겠다.

181203 TWIL

To-do-list : 오늘 할일

1. Pandas Cookbook 2장 복습, 3장
2. ROC 커브, Logistic Regression
3. 시간 날 때, 새로운 데이터셋 EDA

오늘 한 일은 무엇인가

1. ROC, AUC, Logistic Regression 정리
2. Flask_app : classification model application 코드 해석
3. Pandas 2장 복습

내일 할 일은 무엇인가

1. Heap, Graph 부분 복습
2. Pandas 3장, 4장
3. 새로운 데이터셋 EDA, Regression 함수 적용

Nginx

0. What is nginx?

• client 가 외부 IP와 그 포트를 통해 server 에 접근하면,
• 그 때부터는 request 를 내부 IP 와 port 로 연결을 해주어야 한다.
• 일종의 proxy server 역할을 해주는 것이 nginx

1. Install Nginx

1
2

$ sudo apt-get update
$ sudo apt-get install nginx

2. Manage the Nginx Process

• nginx Process

  1 2 3 4 5 6 7 8 9 10 11 12 13 14

  #start Nginx $ sudo systemctl start nginx #stop nginx $ sudo systemctl stop nginx #restart nginx $ sudo systemctl restart nginx #check status nginx $ sudo systemctl status nginx # reload nginx $ sudo systemctl reload nginx

3. Structure

• /etc/nginx
  • Nginx의 설정에 관련된 directory
• /etc/nginx/nginx.conf
  • nginx의 기본설정 파일, global설정은 이 파일에서
• /etc/nginx/sites-available/
  • 포트 접속시 개별 설정하는 directory
  • 여기 안에 default 파일 변경

4. Nginx Configuration

4.1 static file serving

/etc/nginx/sites-available/default 파일 수정

1
2
3
4
5
6
7
8
9

server {
  location / {
    root /path/to/html ;
  }

  location /images/ {
    root /path/to/image;
  }
}

4.2 proxy server

• port 별로 설정이 가능하다

  1 2 3 4 5 6 7 8

  server { # default 는 80 port (http default) # 8080 port 에 대해서 listen 8080; location / { proxy_pass http://localhost:8080; } }

• 여러개의 포트를 연결

server {
  listen 8080;
  listen 80;

  location / {
    proxy_pass http://localhost:8080;
  }
}

181129 TWIL

To-do-list : 오늘 할일

1. Pandas ~ 150page
2. wiki 구성 방안
3. REST API, NGINX, AWS 공부

오늘 한 일은 무엇인가

1. Pandas 80page
2. wiki 구성
3. REST API, NGINX, AWS 공부

내일 할 일은 무엇인가

1. Pandas 150page 마무리
2. 복습