Lagrangian Multiplier in ML

라그랑주 승수법? 라그랑주 승수법은 제약이 있는 최적화 문제를 푸는 방법으로,최적화하려 하는 값에 형식적인 라그랑주 승수 항을 더하여, 제약된 문제를 제약이 없는 문제로 바꾸는 방법 g(x) = 0이라는 제약식에서 f(x)를 최대화하는 문제를 풀어야 할 때, 라그랑주 승수 −λ 를 g(x) 에 곱해서 f 에 더한 라그랑주 함수 L(x,λ):=f(x)−λg(x) 를 목적 함수로 삼는 다음의 최적화 문제로 바꾸는 방법 엄청난 내용은 아니고, 그냥 이론적 증명이나 수식 전개할 때 사용되는 Tricky한 하나의 방법론이라고 이해하면 될 듯! 당장 와닿지는 않을 수도 있지만, 논문을 이해한다거나 머신러닝, 딥러닝 모델들의 방법론을 이해할 때 많이 등장하므로 알아두면 도움이 될 것! 라그라주 승수 정리의 기하학적 ..
AI | DS 2023. 11. 26. 20:58
1