Data Science/Optimization (3) 썸네일형 리스트형 [Optimization] Unconstrained (제약 조건이 없는 최적화 문제), Local minimum 판단, Critical points, FONC Unconstrained Optimization : 제약 조건(constraints)이 없는 최적화 문제 제약 조건이 없는 최적화 문제란 변수의 값을 어떤 함수의 최솟값 또는 최댓값으로 만드는 것을 목적으로 하는 문제입니다. 변수의 값을 변화시키면서, 목적 함수(objective function)의 값을 최소화 또는 최대화하도록 하는 변수 값을 찾는 것이 목적이죠! 이를 위해 다양한 최적화 알고리즘이 사용됩니다. 여기에는 경사하강법으로 많이 들어보셨을 Steepest Descent(Gradient Descent)와 Newton's Method, Quasi-Newton Method 등이 있습니다. 이 알고리즘들은 목적 함수의 값을 최소화/최대화하도록 하는 변수 값의 변화량을 계산하고, 최적해에 근사하는 과.. [Optimization] 그래디언트(Gradient), 헤시안(Hessian), 자코비안(Jacobian) 개념 정리 Gradient, Hessian, Jacobian matrix 최적화에서 중요한 개념인 Gradient, Hessian, Jacobian에 대해 알아보겠습니다. 그 전에 함수의 미분 가능성과 연속성에 대해 기억이 잘 나시지 않는다면 이전 글을 참고해 주세요. https://exvarx.tistory.com/17 그래디언트(Gradient) 최적화 문제를 효율적이고 안전하게 풀 수 있는 것은 gradient 밖에 없는데요. 이 gradient는 미분의 여러 값입니다. 각 변수에 대해 그 위치에서 1차 미분한 값이죠. 즉 1차 도함수의 벡터값으로, 함수의 각 변수에 대한 변화율을 모아 열벡터(column vector)로 표현한 것입니다. ∇f(𝑥)=0이 된다는 것은 그 지점에서의 기울기가 0이라는 것이죠. .. [Optimization] 데이터사이언스에서 최적화 개념 최적화 알고리즘이란? 산업공학과 컴퓨터공학, 그리고 데이터사이언스를 공부하다 보면 '최적화(optimization)'라는 단어를 많이 접하게 될 것입니다. 꼭 이 분야를 공부하지 않더라도 '최적화'라는 말은 굉장히 낯익은데요. 그렇게 느껴지는 것은 최적화가 다양한 분야에서 사용되고 있기 때문입니다. 예를 들어, 제조업에서는 제품의 성능을 최적화하기 위해 최적의 설계를 찾기 위해 최적화를 사용합니다. 운송업에서는 물류를 최적화하여 비용을 절감하고 운송 시간을 단축하는 데 사용하고 있습니다. 그리고 경제학에서는 수익을 극대화하거나 비용을 최소화하기 위해 최적화를 사용하기도 하죠. 일상을 비롯해 여러 분야에서 최적화는 실제 문제를 해결하는데 중요한 역할을 하고 있습니다. 데이터 사이언스에서 최적화란 무엇일까요.. 이전 1 다음
