Data 분석 왜 많이 하니?

Advancement of Technology

• (Big) data handling

– Much easier‐to‐use software

– Server clusters in the cloud

• Algorithms and analysis platforms

– Much improved performance

• Data tend to be less difficult to obtain

– People are aware of the importance

(well, does not necessarily mean many people understand the

exact value or how to extract it)

• When simple (or less complicated)

– Data approach works

– ‘Traditional Research’ might work as well (or

better)

• When complicated

– Data approach often gives a better chance

– When done properly…

LDA

Data Processing

Visualization

Analysis

Interpretation

Box Plot!!!

목적한 바가 중요하다.

Causality

Confounding means a difference between treatment and control groups - other than the treatment – which affects the response being studied

독립변수 이외에 종속변수에 영향을 주는 다른 요인

사람 vs 기계

• Certain tasks are better done by human

– Hacking

– Iteration

– Visual inspection

– Bringing knowledge from outside (of data)

• Some others by machine

– High‐dimensional analysis

– Data crunching (stats calculation, etc.)

– Organized approaches when one has no clue

• e.g. Automatic feature generation/selection

– ML algorithms

• Each known to work well for certain problems

• e.g. Deep learning on text, speech, image

Typical Sequence

(1/50) ^6

1 - (1/(50^6))

Lean Start Up!

Minimize the total time through the loop

IDEAS -> (build) -> Code -> (Measure) -> DATA -> (LEARN) -> IDEAS

Ensemble

Statistical : 양

Representational : 표현 자체 불가..(

Computational : 계산(Local minimal)

ML Performance, Task, Evaluation

Entropy

-Sigma p(x) log p(x)

Correl

sigma(x-_x)(y-_y) / squrt((x-_x)^2 * (y-_y)^2)

Box Plost 4분위수, 평균, Median, 동떨어진 것!!, Min, Max

40 년 전 일도 상황은 변했고 시간은 흘러갔지만

누구에게나 항상 떠올리게 하고 머물게 하는 시간이 있지 않을까?

그게 좋은 순간이건 몸서리치게 떠나고 싶은 순간이건 말이다.

라는 말로 시작하는 내 머릿속 문장은

문득 보인 연구실 후배 컴퓨터의 명언에서 비롯 되었다.

그 문장은 아래와 같다.

Live as if you were to die tomorrow. Learn as if you were to live forever.

ㅡ 간디 Mohandas Karamchand Gandhi

문두에 앞서,

나는 간디 선생님의 비폭력 무저항운동을 매우 존경하며,

그렇기에 문명(컴퓨터 게임)에서 나왔다고 하는 옥수수와 다이아몬드 교환 이야기를 재미있어 했고

간디난다 라는 말장난도 거부감 없이 들으며 유쾌해했다.

아무튼 나는 간디 선생님에 대한 존경과 애정을 가지고 있다는 것을 밝힌다.

음.. 그래서 말인데.. 이걸 현대 직장인에게 대입하면.

Live as if you were to die tomorrow.

정말 그러면 정말 내일 죽거나 오늘 잠들기 전에 죽거나 할 수 있고;;;;;

그리고 학생에게 대입하면..

Learn as if you were to live forever.

정말 그러면 매우 느리게 배우게 될 수도 있다는 생각이 들었다.

뭐; 그냥 그렇다는거다 ㅋㅋㅋㅋ

참고로 이글은 유머가 있는 아주 재미있는 글이다.

무언가 제대로 된건지 알 수가 없으며

더 문제는 내가 원하는 단어가 어디에 있는지 알수가 없다는 것이다!!

그리고 부족한 텍스트로 뭔가 알아낸다고 하는 것 자체가 말이 안된다는 것을 다시 한번 느끼게 되었다. 양이 중요하지 정말 ㅠ

아 뭔가 무의미하다 딱히 통계공부를 한것도 아니고 노가다와 삽질의 향연이라니

내가 내 무덤을 팠다. 대략 그렇다는 것이다.

5시 30분.. 과연 기상 할 수 있을까;; 싶지만 일어나겠지 또 언제나처럼.