Linear Model with Pytorch

• 이 글의 목적은, 지난 Linear Regression 에서 좀더 나아가서, 다양한 Regression 예제들을 Linear Model (WX) 형태로 pytorch 를 이용해 풀어 보는 것입니다.
• Pytorch 를 사용하여 Modeling 과 loss function 등을 class 형태, 내장 loss 함수등을 사용해보겠습니다.

Linear Regression through Pytorch

• 이번 포스트의 목적은 Linear Model을 Pytorch을 통해 구현해보며, 개인적으로 Pytorch의 사용을 연습하며 적응력을 높여보는 것입니다.

Section A, B - Summary

이 글은 edwith(https://www.edwith.org/)의 조경현 교수님의 딥러닝을 이용한 자연어 처리 (https://www.edwith.org/deepnlp/joinLectures/17363)강의를 듣고 정리한 글입니다.

Server Provisioning & Terraform

• Provisioning 이란, 한정된 자원을 최적의 효율을 위해 제공하는 기술적 개념을 말한다. 유저의 요청에 맞게 자원을 미리 세팅해두고, 유저의 요청에 따라 준비된 자원들을 목적과 효율에 맞게 제공하는 개념이다. 특정 분야에서 한정되어 사용하는 개념이 아니라 다양한 분야에서 응용되어지는 주제이다. (IT 분야만으로 한정되지도 않는다) IT 분야의 Provisioning의 예시로는, Server Provisioning, Storage Provisioning, Telecommunication Provisioning 등이 있다.
• 여기서는 Terraform 을 활용한 AWS 서버 프로비져닝에 관해 다룬다.

190109 TWIL

오늘 한 일은 무엇인가

1. BLOG RENEWAL

내일 할 일은 무엇인가

1. Graph모형 공부
2. LinearAlgebra 1강, 2강
   

무엇을 느꼈는가

• 새해를 맞아 블로그를 새 테마로 바꾸었다. 기존에 hueman theme 에 익숙해져 있어서, 새로운 테마의 기능을
  수정하고, 전처럼 편해지려면 또 적응의 시간이 필요할 것 같다. 블로그의 테마는 작년부터 글의 양이 늘어나면 늘어날수록
  그 욕구가 더 심해 졌다. 특정 카테고리에서 글이 누적되가면서, 어떤 글들이 담겨있는지 제목을 통해 직관적으로
  보고싶었다. hueman 은 글마다 썸네일들이 있고, 글의 순서가 조금 불편하게 배치되어 있다. 시리즈성 글들을 올린다거나,
  주제가 1, 2, 3 등으로 나뉘는 글들이 있을 때, 글 제목으로 연속성을 보기가 힘들었다.
• 위의 이유로 선택한 이번 테마는 내가 중점적으로 생각한 부분을 조금이나마 개선할 수 있는 것 같다. 틈틈히
  새로운 테마의 세팅도 마쳐야겠다.

** REBOOT **

• Text Classification Project 를 한다는 핑계로 그간 TodayWhatILearned의 작성을 하지 못했다.
  프로젝트를 하는 동안은 매일 어떤 것을 공부할 계획이고, 어떤 공부를 했는지 남길 만한 내용이 없었던 것도 사실이다.
  프로젝트 동안 미뤄뒀던 공부들, 보고싶었던 주제들을 이제 다시 새로운 마음가짐을 가지고 시작할 것이다.
  새해가 밝은 만큼 블로그를 만들기 시작하면서 다짐했던 초심을 상기하자.

To-Do-List

1. Graph모형, 네트워크 추론 공부 (수식) - 새로운 패키지, 코드 정리하면서 공부
2. LinearAlgebra 1강, 2강 다시 시작

오늘 한 일은 무엇인가

1. Graph모형 공부
2. LinearAlgebra 1강, 2강
   

내일 할 일은 무엇인가

1. 네트워크 추론 공부(수식 위주로 공부)

181225 TWIL

오늘 한 일은 무엇인가

1. (Project) Text Preprocessing

내일 할 일은 무엇인가

1. (Project) Project 모임
2. Linear Algebra 강의 2강, 3강 듣기
   

무엇을 느꼈는가

• 모든 전처리가 그렇겠지만, 텍스트 데이터의 전처리는 유독 할게 많다. 실제 사람이 사용하는 언어 데이터이다 보니,
  예외사항들이 많고 모델 성능에 이 전처리들이 큰 영향을 미친다고 하기에, 열심히 전처리를 하고 있다.
• 오늘은 embedding 데이터를 활용해 줄임말들 (I’d, We’re 등) 늘려주는 작업을(I would, We are 등) 해줬다.
  기존에 짰던 영어이냐 아니냐를 분류하려고 만든 알고리즘의 성능이 위 작업을 통해 좀 더 좋아질 것이라 예상된다. 또한
  오늘 한 작업이 main modeling 을 하기 위해 진행할 Tokenizing 에도 좋은 영향을 줄 것이다. Stopwords 들을
  빼거나 더할 때도, What’s 보다는 What is 로 늘려주었을 때, 훨씬더 세밀해 질 것이다.
• 내일은 spelling 체크, 띄어쓰기 체크해서 올바르게 고쳐주는 작업을 해야한다. 그리고, Baseline 모델을
  잡기 위해 본격적인 modeling 에 들어가야한다.

181220 TWIL

오늘 한 일은 무엇인가

1. (Project) Classification Project 모임
2. 딥러닝 엔지니어 현업자 특강
3. Celery 복습
4. 간단한 알고리즘 문제 풀기
5. Linear Algebra(Gilbert) 1강

내일 할 일은 무엇인가

1. Linear Algebra(Gilbert) 2강
2. (Project) Classification Project
3. Classification 개념 다시 보기
   

무엇을 느꼈는가

• 즐기자

181216 TWIL

오늘 한 일은 무엇인가

1. DataThon 발표
2. Perceptron 공부
3. (Project) Quara Dataset EDA

• question_text 에서 vectorize 하기전에 특징값들을 뽑아내기
• 나이브 베이지안 돌려보기

4. (Study) 스터디때 나눌 WebApplication 의 구조, MVC model 나누기

내일 할 일은 무엇인가

1. (Study) 스터디원 블로그 개설, Flask에 비유한 WebApplication, MVC model 공부하기
2. (Stydy) PROJECTmini WebApplication 계획 세우기
3. (Project) EDA 짬짬히 계속하기
4. SVM 공부
   

무엇을 느꼈는가

• Datathon에서 분석했던 내용을 발표하는 시간을 가졌다. 발표를 하면서 부족하다고 생각했던 점과 comment 를
  잊기 전에 정리해본다.
  1. 후기 및 생각과 느낌
  2. 프레젠테이션 능력이 부족하다.
     - 긴장, 생각의 흐름을 말로 표현하는 것이 부족했다. 나름대로 이야기 할 것을 리스트업해갔지만, 잘 눈에 들어오지 않았다.
     - 스크립트를 다 작성해가는 것이 좋은 것일까?
  3. 프레젠테이션 혹은 데이터를 모르는 사람도 읽을 수 있는 마크다운 정리가 부족했다.
     - 데이터톤 당시 시간에 쫓기는 것도 있었고, 데이터를 분석하고 코드를 작성하면서 나중에 하면 되겠지 라고 생각했다.
     - 결과는 제대로 마무리와 정리를 하지 못한 채로 제출했고, 이는 발표할 때 쓰는 자료로서는 0점에 가까웠다.
     - 프로젝트나, 코드를 작성할 때 comment 를 좀더 세세하게 작성하도록 노력해야겠다.
  4. 지적해주신 comment
  5. Regression 에서 intercept 의 의미
     - 실제로 모델링한 결과를 현실 데이터에서 사용하기 위해서는 intercept 를 꼭 추가해야한다고 말씀해주셨다.
     - comment 를 듣자 마자, 조금 찾아봤을 때, intercept 가 error 의 mean 값을 잡아준다고 한다.
     - 이 부분은 좀더 보충이 필요하다.
     - 더미변수를 사용하지만, Intercept 의 효과에 대해서.. 단지 해석의 의미로만 상수항을 생각하였는데, 좀더 본질적인 이유가 있는 것 같다.
     - 꼭 보충할 것!
  6. 데이터를 분석하는 과정에서 insight를 얻었을 때, 이를 꼭 알기 쉽게 기록하라.
     - 개인적으로 느꼈던 후기와 생각에서와 비슷한 취지의 말씀이었다. 자신과 다른사람이 알 수 있게 insight 를 꼭 기록하라고 말씀하셨다.
  7. R square 를 기준으로 분석을 진행할 때는 조심하여야 한다.

181210 TWIL

To-Do-list

1. DataThon 발표 준비
2. Pandas 4장 공부
3. 알고리즘 문제풀기
4. (Study) 프로젝트 미니(웹어플리케이션) 준비
5. (Project) Classification Project Data EDA

오늘 한 일은 무엇인가

1. Datathon 발표준비
2. 알고리즘 문제 풀기
3. (Study) 프로젝트 미니(웹어플리케이션) 준비

내일 할 일은 무엇인가

1. Pandas 4장 공부
2. Support Vector Machine 공부
3. 알고리즘 문제풀기
4. NoSQL, MySQL syntax 정리
   

무엇을 느꼈는가

• 데이터톤 발표를 준비하면서, 제출했던 코드와 과정을 다시 살펴보니 Markdown 이나
  주석이 부족함을 느꼈다. 다시 볼 때 좀더 편할 수 있도록, 코드와 과정을 다시 이어 나가는데 시간을 덜 소비하도록 나름 신경써서 작성하며 진행했는데, 다시 보려고 하니 머릿속에 있었던 것들이 다 작성되어 있지 않았다. 지금은 데이터톤에서 얼마 지나지 않았기 때문에, 기억에 남는 것이겠다. 하지만 추후에 다시 볼때는 기억이 나지 않아, 내가 작성한 코드와 문서임에도 불구하고 그 맥락을 이해하기 위해 처음부터 읽어 볼 것이다.
• 앞으로는 좀더 주석과 마크다운 문서에 신경을 많이 써야겠다. 짤막하게라도, 데이터 분석과정 중에 들었던 생각들을 작성해 놓아야, 그 시간이 지난뒤에 Develop 을 하던, 복기를 하던 계속 생각의 흐름을 이어 나갈 수 있을 것이다.
• 일일코딩, DailyCommit 등에 관한 글을 읽었다. 개인의 다짐과도 비슷하고, 개인 프로젝트로 개발자들이 많이 하는 것 같다. 글을 읽은 직후에는 나도 하고 싶다는 생각을 했지만, 과연 할 수 있을 것인가 하며 반문을 하였다. 다짐의 문제라고 하기엔, 너무 정신 없는 나날을 보내고 있기에.. 도전할 것인지 하루만 더 고민해봐야겠다.