181101 TWIL

---

오늘 한 일은 무엇인가

1. Project 모임
2. Data 일부 전처리
3. Crawling 공부

---

내일 할 일은 무엇인가

1. Database - MySQL 공부
2. Pandas 라이브러리 살펴보기
3. miniProject Crawling 주제 선정, 코드짜기
   

---

무엇을 느꼈는가

• 프로젝트 모임에서 우리가 예측할 Data (Departure Delay)를 정의하고, 나는 오늘 시각 data 의 전처리를 하였다. Data 들이 의미없는 값들을 가지고 있을 때 어떻게 처리해야 할지 고민하다가 확실한 답은 못얻은 채, 우선 시각 데이터의 formatting 만 바꾸었다. data들을 어떻게 채워넣어주어야 할지는 조금더 공부해 보아야 할 것 같다.
• 첫 프로젝트 모임의 느낌이 매우 좋았다. 모임을 하기 전까지는 내가 했던 것들이 맞는가 하는 의구심과 project를 하기에는 아직 부족한 지식과 실력이라는 걱정이 앞섰다. 오늘 모임을 하면서 각자 살펴보았던 data 의 특징들과 앞으로 어떻게 data 를 다듬을 것인지 얘기하면서, 더 좋은 방향과 몰랐던 것들, 알았던 것들을 서로 나누면서 발전적인 대화가 되었다는게 매우 뿌듯하다.
• 모임에서 받은 좋은 느낌을 이어서, 오늘 내가 맡기로한 부분을 해결하기 위해 앉았고, 또 나름 해결한 부분이 있는 것 같아 작은 성취감을 맛보았다.
• 협업을 하기 위해 git에 관해 좀더 공부하고 나눌 필요성이 느껴졌다. 특히나 code conflict 가 실제로 발생하기 전에 어떻게 다루어야 하는 것인지 좀더 깊게 공부할 필요성을 느꼈다.

---

181031 TWIL

---

오늘 한 일은 무엇인가

1. 선형회귀분석 공부
2. 행렬의 미분 공부
3. (PROJECTmini)A star Algorithm 개념 정리
4. (PROJECT)프로젝트 진행 data 탐구
5. 데이터 전처리 공부

---

내일 할 일은 무엇인가

1. Project 모임
2. 데이터 전처리, 데이터들의 의미 파악, 예측할 delay 부분 정의하기
   

---

무엇을 느꼈는가

• 오늘은 아침부터 하루종일 컴퓨터 앞에 앉아 있어서, 눈과 목이 너무 아프다. 그래도 새로운 알고리즘 내용에
  관한 이해와, 앞으로 진행할 메인 프로젝트의 data들의 의미를 파악해서 뿌듯한 하루였다. Data의 의미를
  파악했으나 이것을 처리하기 위해서 numpy 와 pandas 의 documentation 을 읽으면서 데이터들을 다뤘다.
  라이브러리와 패키지들의 메소드와 클래스들을 자유자재로 다루기 위해선, 계속 사용해보면서 익혀야 함을 느꼈다.
  메소드들을 알면 복잡하게 코드를 안짜도 이미 내장되어있는 메소드로 손쉽게 처리할 수 있기 때문이다.
• data를 혼자 곰곰히 보다, 시간에 관한 column 의 의미를 파악했으나 이것을 손쉽게 합쳐서 데이터들을
  재정렬하는데 오늘 실패했다. 의미는 파악했으니, 내일 좀더 시도해보면 시간에 관한 data 를 정리할 수 있지
  않을까 한다.

---

181030 TWIL

---

오늘 한 일은 무엇인가

1. 검정, 추정 부분 수식 꼼꼼히 다시 보기
2. A star(A*) Algorithm 개념 읽기

---

내일 할 일은 무엇인가

1. 선형회귀분석 정리 (패키지 별로 특징, 메서드 파라미터 위주)
2. 데이터 전처리 부분 공부
3. Test data 처리는 어떻게 하는 건지 공부해보기
   

---

무엇을 느꼈는가

• 추정부분 수식을 공부하면서 eigenvalue 부분이 기억이 잘 안나던 것을 시간이 될 때 자료들을 챙겨봐야겠다.
• 오늘 공부한 선형 회귀분석을 배우니 조금이나마 프로젝트를 어떻게 진행해야되는 건지 감이 잡힌 것 같다. 미약한
  시작을 하기위해 오늘 공부한 개념들을 사용해서 여러가지 돌려보고 데이터를 파악해볼 수 있을 것 같다.
  하지만, 우리가 가지고 있는 데이터셋이 바로 적용 할 수 없는 현실적인 데이터이기 때문에, 여러가지 전처리
  작업이 필요할 것 같다. 오늘 배운 것을 적용해보기 위해 내일은 데이터 전처리를 공부해보고, 또한 test data의
  생성 역시 공부해보아야할 부분인 것 같다.

---

181029 TWIL

---

오늘 한 일은 무엇인가

1. 자료구조 Binary Tree, Stack 으로 Queue구현, Stack 응용
2. 추정 부분 복습
3. 스터디 나갈 방향 이야기
4. A star algorithm search

---

내일 할 일은 무엇인가

1. ‘추정’에서 수식 부분 다시 보기
   

---

무엇을 느꼈는가

• 스터디 첫 모임을 가졌다. 프로그래밍에 관해 알고있는 것들을 활용하고 응용하는 쪽으로 어떻게 하면 될지 많은 의견을 나누었다. 상상의 나래를 펼치니, 타오르는 열정과 함께 만들어보고 싶은 것은 많았으나…. 아직 아는게 많지 않기에.. 다시 현실에 눈을 돌렸다.
• Maze 문제에서 다른 알고리즘을 통해 구현해보려고 의견이 모아졌다. 직접 찾아서 적용해보는 첫 algorithm 이기에, 직접 찾아가면서 공부하고, 이것을 적용하는 경험을 통해 또 다른 배울 것이 있을 것 같아 매우 기대된다.

---

181028 TWIL

---

오늘 한 일은 무엇인가

1. 검정과 추정 공부
2. Blog 테마 수정

---

내일 할 일은 무엇인가

1. ‘추정’에서 수식 부분 다시 보기
2. (Study) 데이터 구조 강의 듣기
   

---

무엇을 느꼈는가

• MaximumLikelihood 를 실제로 손으로 써가며 풀어보는 과정에서, 지금까지 배웠던 수학적 테크닉들이 모두 쓰이는 것을 보고 뿌듯하면서도 재미있었다. 뿌듯한 이유는 아마도 한줄 한줄 써가는 내용이 여태 공부한 수학 개념들로 이루어진것 때문일 것이다. 그 중에서도 다음 식을 전개하는 과정에서 눈에 잘 들어오지 않아 전개하지 못할 때도 있었다. 이것은 아마 앞부분 개념이 그 순간에 적용이 되지 않기 때문이라고 생각된다. 행렬의 내용중 몇가지 특성들과 라그랑주 멀티플라이어에 대한 수식을 틈이 생길떄 챙겨서 봐야겠다.

• 오늘은 수학을 공부하느라 프로그래밍은 하지 못했다. 중간에 졸린 걸 해소해보고자 블로그 테마 색깔 수정과 그 수정을 위해 블로그의 코드 구조를 본게 전부 였다. 30분 푹빠져서 하다가 주객전도 되지않으려 다음으로 미뤘다.

• 위 주제들에 관해 알게된 것도 많은 하루였고, 뿌듯한 하루였다.

---

181027 TWIL

오늘 한 일은 무엇인가

1. 확률 수학 공부
2. 자기전 (스터디)데이터구조 부분 1강 듣기

내일 할 일은 무엇인가

1. 확률분포를 다시 복습하면서 검정, 추정에서 이어지는 부분 꼼꼼히 공부
2. 데이터 구조 강의 수강 계획 세우기

무엇을 느꼈는가

• 검정방법론에 대해 좀더 꼼꼼히 보았다. 수학적인 수식들은 수업시간에 다 이해가 되는 편이지만 이 수식들을
  말로써 표현하고, 글로 풀어쓰는 순간 머리가 빠릿빠릿 안돌아가는 느낌이어서, 한단계한단계 논리적으로 따져가며
  공부하니 이제야 좀 편해진것 같다. 가설 검정 같은 때에도, 말로 풀어쓰는 것 보다 간단하게 수식으로 표현하고,
  각각의 p-value 를 확인한뒤 원래 작성했던 H_0, H_a 에 대해 생각해보면 쉽게 되었으나 이것을 말로 표현하고
  글로 구성하려고 하니 간단한것도 복잡하게 생각했던 것 같다. 결국 내가 알게 된것을 상대방과 논의하고
  앞으로 만나게 될 클라이언트들을 대상으로 설명해야하는 것이 모두 이런 부분에서 시작되는 것임을 느꼈기에,
  내 생각과 가정 -> 수식으로 표현 -> 다시 말 혹은 글로 표현 하는 것을 습관처럼 해야겠다.

181026 TWIL

오늘 한 일은 무엇인가

1. Xpath, Scrapy 를 활용한 Crawling 공부
2. DataScience 와 DataEngineering 의 차이점 찾아보기

내일 할 일은 무엇인가

1. 확률분포 공부
2. Scrapy 활용해보기

무엇을 느꼈는가

• DataScience 와 DataEngineering 의 공통점과 차이점에 대해 알아보았는데, 아직은 현업에서 각
  분야가 하고 있는 일이 어떻게 다른지 확실한 감이 오지 않는 것 같다. 내가 명확히 재밌어하는 것은 아직까지는
  어떤 디테일한 분야가 아니라, 수학적인 것, 프로그래밍 적인 것들을 배운 것을 적용해보고 응용하는 것에
  흥미를 느끼는 것 같은데 이보다 더 앞서 생각해보고 결정하려고 하니 감이 잘 오지 않는 것 같다.
• 지금 현재로서는, 다양한 기계학습 알고리즘과 머신러닝 등을 이용하여 prediction 등을 통해 새로운 Insight
  를 얻어내는 것에 관심이 있는 것 같다. 이 분야를 공부하고 배워 나가면서 엔지니어링 분야를 필요에 의해 점차
  공부해 나가는 방향으로 삼고 싶다.

181025 TWIL

오늘 할 일은 무엇인가

1. 확률분포 공부
2. 프로젝트 모임
3. Selenium, Scrapy, Pillow 활용 공부

오늘 한 일은 무엇인가

1. Selenium, Pillow 활용 공부

내일 할 일은 무엇인가

1. 확률분포 공부

무엇을 느꼈는가

• 동영상과 이미지를 처리하는 방법에 대해 공부하면서, Selenium 을 활용해 많은 활용도를 느꼈다.
  주말을 이용해 동영상이나 이미지들을 Crawling 해서 class 형태로 만드는 방법을 시도해봐야겠다.

181024 TWIL

오늘 할 일은 무엇인가

1. 멀티스레딩으로 네이버 크롤링 코드 작성
2. 오후 4시 스터디
3. 확률 분포 공부

오늘 한 일은 무엇인가

1. 멀티스레딩 개념을 활용한 크롤링 코드 작성
2. 오후 4시 스터디
3. 확률분포 공부

내일 할 일은 무엇인가

1. 확률분포 공부
2. 프로젝트 모임
3. Pandas 정리해보기

무엇을 느꼈는가

• Documentation 과 각종 개념 자료들을 혼자 보고 공부하면서, 파이썬이라는 언어가 단순히 책 한권 끝냈다고 해서 끝나는 언어가 아님을 깨달았다. 기본적인 문법을 금방 익숙해져서, ‘역시 쉬운 언어인가’라고 생각했다가 오늘 다양한 자료를 찾아보고 읽어보면서 언어 하나만해도 아직 공부할게 무궁무진 하다는 것을 깨달았다.

181023 TWIL

오늘 할 일은 무엇인가

1. Queue 정리 하기
2. 확률 분포 공부
3. <스터디>멀티 스레딩 개념을 포함한 네이버 크롤링 코드짜기

오늘 한 일은 무엇인가

1. <스터디> 멀티 스레딩에 관해 이야기, 공부해볼 정보들 공유, 어떻게 코드를 구성할 것인지 의견을 나누었다.
2. Queue 개념 정리 및 코드 구현 연습
3. 베르누이 분포, 이항분포 정리 및 Searching
4. 블로그 수정

내일 할 일은 무엇인가

1. 오후 4시 멀티 스레드 관련한 내용으로 온라인 스터디 모임 예정
2. 멀티스레딩 개념을 활용한 네이버 크롤링 코드 짜기
3. 각종 확률 분포 및 검정 부분까지 복습

무엇을 느꼈는가

• 오늘 공부한 testing 시작부분부터는 그간 배웠던 것을 한꺼번에 적용한다. 배웠던 여러가지 분포를 활용하여,
  가설을 세우고 이 가설이 선택한 분포의 관점에서 봤을 떄, 가설을 선택할지 기각할지에 관한 내용은 점차
  data를 통해 prediction 을 해가는 과정에 있는 듯한 느낌을 받았다.
• 아직 검정 과정과 앞으로 공부하게 될 여러가지 분석 모델을 이해하기에 앞서배운 확률분포 부분의 내용이
  부족한듯하여, 계속 꾸준히 앞부분을 공부해야될 것 같다.