[AI] Hyperparameter Optimization
■ Hyperparameter Optimization(=Tuning)
Parameter는 Machine Learning의 학습에 조정되는 모델 내부의 파라미터를 의미합니다.
즉, 학습 과정에서 생성되는 변수들로 랜덤포레스트 모델과 딥러닝에서는 학습 가중치가 파라미터를 의미합니다.
Hyperparameter는 사용자가 딥러닝을 위해 설정하는 모든 값들을 의미합니다.
랜덤 포레스트를 예로 들면, depth는 몇개까지 설정하며, 트리의 개수를 몇개까지 설정한 것인지를 의미합니다.
딥러닝 모델의 경우에는 layer의 개수, 학습횟수(epoch) 등을 의미합니다.
가장 유명한 Hyperparameter search에는 Grid Search와 Random Search가 있습니다.
-
Grid Search, Random Search
Grid Search란, Hyper Parameter가 X1 축과 X1축으로 구성(2개)되어 있을 때 동일한 간격의 격자무늬로 Search Space로 구성됩니다. 넣을 수 있는 값들을 순차적으로 입력한 뒤 가장 높은 성능의 하이퍼 파라미터를 찾는 탐색 방법입니다.
모든 값을 탐색해야하기 때문에 값에 따른 모든 모델이 생성되야하기 때문에 비효율적이라는 단점이 있습니다.
Random Search란, Grid Search보다는 효율적인 방법 중 하나로 여러 파라미터 값들 중에서 무작위로 값을 선택하여 모델을 평가하는 것 입니다. 모든 조합을 실시하는 대신 무작위로 선택합니다. 랜덤이라는 단어답게, 랜덤하게 숫자를 넣은 뒤, 정해진 grid 사이에 위치한 값들에 대해서 확률적으로 탐색하여 최적의 하이퍼파라미터 값을 빨리 찾습니다.
-
Bayesian Optimization
가장 많이 쓰는 Hyperparameter Optimization은 Bayesian Optimization 입니다.
Grid Search, Random Search에 비해 Bayseain Optimization은 데이터가 몰려있는 것을 확인할 수 있습니다.
사전에 탐색했던 과거의 데이터를 활용했기 때문에 데이터가 몰려있는 경우가 있습니다.
위 Grid Search, Random Search, Bayseain Optimzation 은 BlackBox Optimization이라고 합니다.
머신러닝 자체에는 블랙박스로 두고, 하이퍼파라미터를 어떻게 최적화할 것 인가라는 관점에서 보게됩니다.
