181120 TWIL

---

오늘 한 일은 무엇인가

1. 시계열 공부(SARIMA)
2. BST 공부

---

내일 할 일은 무엇인가

1. A* 알고리즘 공부
2. 회기분석 리뷰
   

---

무엇을 느꼈는가

• 오늘 시계열을 강의가 마무리 되면서, 가장 중요한 교훈은 ‘세상의 모든 시계열 데이터를 현재 배운 모델로
  구현할 수 없다’인 것 같다. 회기 분석보다 훨씬더 어려웠던, 수식 전개들이 많았는데 모델링 할 수 있는 실제
  데이터가 많이 없다는 것이 안타까웠다.
• 그럼에도 불구하고 이전 프로젝트에서 다루었던 데이터를 ARIMA 등을 적용할 수 있을지 다시한번 프로젝트
  파일을 열어봐야겠다.
• 내일은 Projectmini 에서 하기로한 A* 알고리즘을 구현하는 것을 고민해 봐야한다. 프로젝트 기간동안
  미뤄두었던 것을 하는 것이라, 의지는 충만하지만, 이전에 막혔던 부분에서 다시 어디서부터 봐야할지 복기 하는
  시간이 오래 걸릴 것 같다.

---

181119 TWIL

---

오늘 한 일은 무엇인가

1. 시계열 공부
2. MA, AR, ARMA 공부 및 수식 꼼꼼히 전개
3. 스터디 모임 : 프로그래밍 구현계획짜기

---

내일 할 일은 무엇인가

1. ARIMA, SARIMA 수식 정리
2. DataStructure 코드 정리
3. A* 알고리즘 공부
4. 회기분석 리뷰
   

---

무엇을 느꼈는가

• 할게 산더미인듯한 느낌이지만, 하나씩 그어나가다보면 되겠지라는 마음으로…
  체력적으로 힘듬이 느껴진다..

---

181114 TWIL

---

오늘 한 일은 무엇인가

1. flight prediction

---

내일 할 일은 무엇인가

1. 프로젝트 모임
   

---

무엇을 느꼈는가

• 계속 비행기 delay시간을 예측하는 프로젝트를 진행하고 있다. 여러가지 feature 들을 다루면서 arrival delay 를 예측하는 것을 목표로 삼고 있는데, 가지고 있는 데이터에서 공통적인 특징을 발견할 수가 없다.
• 외부 데이터를 사용해야할지, 갸지고 있는 데이터 셋에서 새로운 컬럼을 만들어야 할지 모르겠다. 많은 컬럼을 만들고 지우면서, 단순히 아이디어, 혹은 이러지 않을까라는 추측으로 컬럼을 만드는 것이 방법론 적으로 잘못된 것인가하는 의문이 들기도 한다.
• correlation 이 높은 것을 가지고 OLS 를 돌리는 것 외에 새로운 컬럼을 가지고 만드는 것. 어떻게 다루어야 할지 고민이다.
• 이제 due date 가 얼마 남지 않은 만큼 최대한 남은 기간 열심히 돌려보고 만들어보면서 계속 trial and error 로 찾아보아야 겠다.

---

181112 TWIL

---

오늘 한 일은 무엇인가

1. 프로젝트 발표 및 Feedback

---

내일 할 일은 무엇인가

1. 프로젝트 모임 & 시계열 공부
   

---

무엇을 느꼈는가

• 메인프로젝트를 다루는 기간동안의 중간결과를 발표하는 시간을 가졌다. 전달력이 충분하지 못한 느낌을 많이 받았다. 내 머릿속에 있는 것을 다른 사람에게 전달하는 능력 역시 많이 필요함을 깨달은 시간이었다.
• 프로젝트 내용에 있어서는, 아직 부족한것이 많다. 퍼포먼스도 눈에 띄게 나오는 것이 없다. 원인은 아마도 눈에 띄는 데이터들의 경향성을 보지 못한 탓이 아닐까 싶다. 가지고 있는 train 데이터 전체를 두고는 뚜렷한 경향성을 보지 못하고 있다. 여러가지 제한 조건을 두면서 쪼개서 봐야하는 작업이 더 필요한 것 같다.

---

181111 TWIL

---

오늘 한 일은 무엇인가

1. Project 모임

---

내일 할 일은 무엇인가

1. Project_Data 탐색
2. 시계열 분석 공부
   

---

무엇을 느꼈는가

• 어제보다는 약간의 진보가 있었지만, 이에 대한 이유는 명확히 몰라 사실 분석이라기보다 얻어걸린 기분이든다. EDA 를 통해 작성한 모델링에서의 식은 아직까지 완성된 느낌을 받지 못해 답답하고, 방향성을 잘못 접근하고 있는 것인가 하는 느낌을 받기도 했지만, 마지막에 조금 기분이 나아졌다.
• 내일 오전에는 프로젝트에 밀렸던 시계열 데이터 분석에 관한 기초적인 공부를 다시 하고, 오후에는 프로젝트 데이터를 좀더 살펴보아야겠다.

---

181110 TWIL

---

오늘 한 일은 무엇인가

1. Prediction main project data 탐색

---

내일 할 일은 무엇인가

1. Project 모임
   

---

무엇을 느꼈는가

• 어제 고민했던, 시간을 사용하여 Regression 을 돌리는데는 성공하였다. 단위를 바꿔주는 방법으로 60진법도 생각하고, radian 으로 바꾸는 방법도 생각해보다가 epoch 방법으로 기준시점에서 지난 초 수 로 scale 과 unit 을 바꿔준디 돌렸더니, 돌아는간다…
• 문제는 전혀 예측했던 모형이 아니었다. scatter plot 의 외형만 보고 판단했다는 것을 마지막에 깨달은 것 같다. 모델을 하기위해 묶어보고 새로운 feature 라고 생각되는 것도 빼보지만 아직 경향성이나 공통적인 특정 같은 것은 보이지 않는다.

---

181109 TWIL

---

오늘 한 일은 무엇인가

1. Crawling miniproject 발표
2. Prediction main project data 탐색

---

내일 할 일은 무엇인가

1. Project 모임
   

---

무엇을 느꼈는가

• Crawling miniproject 의 troubleshooting 시간이 있었다. 발표를 끝내고 나서는 하나를 마쳤다는 시원한 감이 있었지만, comment 들을 듣고 많이 부족함을 느낀 시간이었다. 코드를 작성할 때, 공통된 요소의 추상화가 선택적이 아니라 필수적임을 알게되었다. 간단한 것이라도 반복적으로 작성하는 것은 python convention 에도, 또 프로그래밍의 근본적인 취지에도 어긋나는 것이다. 처음부터 일반화된 포맷으로 작성하기엔 아직 실력이 많이 부족하다. 간단한 구현에서 module 화까지 내가 짜는 대부분의 코드를 연습하다 보면 늘겠지…
• 메인 프로젝트의 data 간의 연관성이 잘 보이지 않는다. 지난 시간에 알게된 하루 주기로의 delay가 반복됨을 알고 있었으나, datetime 형식으로, 혹은 int나 float 형식으로 ols 에 집어 넣으면 주기성을 잡아내지 못하는 것 같다. 시간 단위로 X feature 로 들어가면 좋을 것 같은데, ols formula 에 시간을 집어넣으면 계속 category 화 된다. 이렇기 때문에 그 해당 정확한 시간이 있지 않으면 coefficient 가 먹지 않지….
• 시간을 표현하기 위해 60진법도 찾아보고, 1분 단위로 int 숫자에 mapping 할까도 생각해보았으나, 결국 mapping 해서 ols 에 돌리면 2400 이후 값은 없는데도 x 축에 들어가게 된다….

---

181108 TWIL

---

오늘 한 일은 무엇인가

1. Project Data EDA, OLS 돌려보기

---

내일 할 일은 무엇인가

1. Project Data EDA, OLS 돌려보기
   

---

무엇을 느꼈는가

• 프로젝트 과정에서 Performance 가 안나오는 이유에 대해 알게된 계기였다. EDA 는 계속 하더라도 부족함이 많은것이고,
  데이터를 처리할 때 line by line 근거가 있어야 한다고 느꼈다.
• 처음부터 전 과정을 진행하는데 있어 매우 시행착오가 많았고, 또 앞으로도 많을 것이지만 계속 반복해서 시행해보는 것이 중요할 것 같다.

---

181107 TWIL

---

오늘 한 일은 무엇인가

1. Crawling Project 정리 및 제출

---

내일 할 일은 무엇인가

1. Prediction Project

---

181105 TWIL

---

프로젝트 STEP

1. 전처리 Nan 값 처리 해결
2. Partial Regression Plot 그려보기

오늘 한 일은 무엇인가

1. 프로젝트 모임
2. Crawling miniProject 와 mainProject 진행

---

내일 할 일은 무엇인가

1. 프로젝트, 오늘까지 진행사항 코드 정리
2. 수학 회기 전체 정리
3. 프로젝트 생각하기
   

---

무엇을 느꼈는가

• 오늘은 프로젝트 모임을 통해서, 많은 것을 얻었다. OLS function 을 실제로 돌림에 있어서 많은 제약조건이
  필요함을 알게되었고, 그만큼 데이터전처리가 매우 중요하다는 것을 알게 되었다.
• 다양한 feature 들마다 다양한 방법으로 전처리를 해주어야 한다. 처음엔 NaN값의 처리 방식에 대해 고민했으나,
  이제는 각 feature 의 특성들마다 전처리 해주는 방식이 달라져야 하고, 또 이번 고비가 넘어가게 되면
  좋은 prediction 결과를 얻기 위해 다양한 feature 의 조합이 필요함이 피부에 와닿았다.
• 만족스런 결과물을 얻기 위해선, 아는게 많은 것 보다, 그 결과물을 만들고자 하는 구성원이 중요함을 느꼈다.
  알고있는 지식은 해결해야할 문제보다 항상 작기 마련이다. 또한 알고있는 지식이 완벽한지는 계속 스스로 의문을
  던지며 업데이트 해야만한다. 하지만 이보다 더 중요한 것은 문제에 부딪힐 때마다 의욕적이고, 해결해보고자 하는 팀원들
  덕분에 오늘의 보람과 뿌듯함을 얻을 수 있었던 것 같다.

---