분류 전체보기 (6) 썸네일형 리스트형 [ML] Statistical Learning - f의 추정, 모수적/비모수적 방법, 예측과 추론, Bias-Variance Trade-off Statistical Learning 머신러닝의 목적은 x를 예측하는 것이 아닌 error를 제외하고 x와 y의 관계를 정의하는 f를 만드는 것입니다. 다시 말해, 입력 변수(x)와 출력 변수(y) 사이의 관계를 모델링하기 위해 함수 f를 추정하는 것이 핵심적인 작업이죠. 이를 통해 새로운 입력 값에 대한 출력 값을 예측하거나, 입력 변수가 어떤 결과에 영향을 미치는지를 추론할 수 있습니다. 이번 장에서는 f를 추정하는 방법에 대해 알아보겠습니다. 1.1. f(x)를 추정하는 이유 (Why Estimate f?) 함수 f를 만들어내면 좋은 이유는 바로 예측(prediction)과 추론(inference)을 할 수 있기 때문입니다. 여기서 예측이란 한 번도 관측하지 않았던 x에 대해서 y를 예측할 수 .. [ML] An Introduction to Statistical Learning 머신러닝 교재 추천 참고 서적 : An Introduction to Statistical Learning 영미권 대학에서 많이 사용하고 있는 교재인 An Introduction to Statistical Learning with Applications in R은 체계적으로 머신러닝에 대해 배우기 좋은 책입니다. 이번에 서울대학교에서 머신러닝 강의를 들으면서 해당 교재로 공부하며 얻은 인사이트를 공유하려고 합니다. 아래 링크를 통하면 영문판 교재 pdf를 다운로드할 수 있습니다. https://www.stat.berkeley.edu/users/rabbee/s154/ISLR_First_Printing.pdf 아래와 같이 책의 목차만 봐도 필요한 내용만 상세하게 들어가 있는 것을 알 수 있는데요. 앞으로 하나씩 다뤄보도록 하겠습.. [Optimization] Unconstrained (제약 조건이 없는 최적화 문제), Local minimum 판단, Critical points, FONC Unconstrained Optimization : 제약 조건(constraints)이 없는 최적화 문제 제약 조건이 없는 최적화 문제란 변수의 값을 어떤 함수의 최솟값 또는 최댓값으로 만드는 것을 목적으로 하는 문제입니다. 변수의 값을 변화시키면서, 목적 함수(objective function)의 값을 최소화 또는 최대화하도록 하는 변수 값을 찾는 것이 목적이죠! 이를 위해 다양한 최적화 알고리즘이 사용됩니다. 여기에는 경사하강법으로 많이 들어보셨을 Steepest Descent(Gradient Descent)와 Newton's Method, Quasi-Newton Method 등이 있습니다. 이 알고리즘들은 목적 함수의 값을 최소화/최대화하도록 하는 변수 값의 변화량을 계산하고, 최적해에 근사하는 과.. [Optimization] 그래디언트(Gradient), 헤시안(Hessian), 자코비안(Jacobian) 개념 정리 Gradient, Hessian, Jacobian matrix 최적화에서 중요한 개념인 Gradient, Hessian, Jacobian에 대해 알아보겠습니다. 그 전에 함수의 미분 가능성과 연속성에 대해 기억이 잘 나시지 않는다면 이전 글을 참고해 주세요. https://exvarx.tistory.com/17 그래디언트(Gradient) 최적화 문제를 효율적이고 안전하게 풀 수 있는 것은 gradient 밖에 없는데요. 이 gradient는 미분의 여러 값입니다. 각 변수에 대해 그 위치에서 1차 미분한 값이죠. 즉 1차 도함수의 벡터값으로, 함수의 각 변수에 대한 변화율을 모아 열벡터(column vector)로 표현한 것입니다. ∇f(𝑥)=0이 된다는 것은 그 지점에서의 기울기가 0이라는 것이죠. .. [Optimization] 함수의 극한과 연속, 기울기와 도함수, 편미분 함수의 연속성(continuity)과 미분 가능성(Differentiability) 최적화에 들어가기에 앞서 꼭 짚고 넘어가야 할 개념이 있습니다. 혹시 고등학교 때 배웠던 함수의 극한(limit)과 연속(continuous), 기울기(slope)와 도함수(derivative)에 대해 기억나시나요? 알고리즘의 성능을 분석하고 최적화하기 위해서는 기본적으로 함수의 미분 가능성(differentiability)과 연속성(continuity)이 요구됩니다. 함수가 미분이 가능하다면 특정 시점에서 도함수를 구할 수 있고, 함수의 극값을 찾을 수 있습니다. 이를 이용해 알고리즘이 최적해를 찾을 수 있습니다. 그리고 함수가 연속해야만 수렴(converge)할 수 있습니다. 만약 함수가 불연속 하다면 최적화 알고리즘.. [Optimization] 데이터사이언스에서 최적화 개념 최적화 알고리즘이란? 산업공학과 컴퓨터공학, 그리고 데이터사이언스를 공부하다 보면 '최적화(optimization)'라는 단어를 많이 접하게 될 것입니다. 꼭 이 분야를 공부하지 않더라도 '최적화'라는 말은 굉장히 낯익은데요. 그렇게 느껴지는 것은 최적화가 다양한 분야에서 사용되고 있기 때문입니다. 예를 들어, 제조업에서는 제품의 성능을 최적화하기 위해 최적의 설계를 찾기 위해 최적화를 사용합니다. 운송업에서는 물류를 최적화하여 비용을 절감하고 운송 시간을 단축하는 데 사용하고 있습니다. 그리고 경제학에서는 수익을 극대화하거나 비용을 최소화하기 위해 최적화를 사용하기도 하죠. 일상을 비롯해 여러 분야에서 최적화는 실제 문제를 해결하는데 중요한 역할을 하고 있습니다. 데이터 사이언스에서 최적화란 무엇일까요.. 이전 1 다음
