반응형 알고리즘3 머신러닝 코드 실습 - 부스팅(GBM, XGBoost, LightGBM) - 1 - 이번 글에서는 Ensemble의 Boosting 에서 영향을 받은 여러 알고리즘들에 대하여 학습을 진행해보도록 하겠다. 1. GBM(Gradient Boosting Machine) - 부스팅 알고리즘은 여러 개의 약한 학습기(weak learner)를 결합하여 강력한 앙상블 모델을 생성하는 알고리즘이다. GBM은 데이터의 이전 학습기에서의 오차를 보완하도록 다음 학습기를 학습시키는 방식으로 동작한다. 쉽게말해, 이전 학습기의 오차를 줄이기 위해 새로운 학습기를 추가해 나가는 방식으로 모델을 개선시킨다. 이때 각 학습기는 이전 학습기들이 만든 오차의 경사(gradient)를 활용하여 더 나은 예측을 하도록 업데이트된다. - GBM 은 CART 기반의 다른 알고리즘과 마찬가지로 분류와 회귀 모두 가능하다.. 2023. 8. 26. 데이터를 함수를 이용하여 불러오기(결정 트리 실습까지) - 이번 글에서는 데이터를 함수를 사용해서 불러오는 실습을 해보고자한다. - 데이터를 불러오는 것만 하면 아쉬우니, 실제로 불러온 데이터를 결정 트리 알고리즘으로 머신러닝 실습해보는 것을 포함한다. - 오늘의 컨셉 : ①데이터를 함수를 이용하여 불러온 뒤, ②해당 데이터로 머신러닝 실습 1. 데이터 확인하기 - 이번 글에서 사용할 데이터는 UCI 머신러닝 리포지토리에서 제공하는 사용자 행동인식 데이터 세트(human activity recongnition using smartphones data set)이며, 이 데이터 세트에 대한 예측 분류를 수행할 것이다. - 해당 데이터는 30명에게 스마트폰 센서를 장착한 뒤 사람의 동작과 관련된 여러 가지 피처를 수집한 데이터이다. - 피처는 모두 561개이며 피.. 2023. 8. 23. 머신러닝 알고리즘(선형회귀, 결정트리 등) 이해하기 - 이번 글에서는 다양한 머신러닝 알고리즘 중 몇가지들을 배워보도록 하겠다. 1. 선형회귀 더보기 * 회귀분석이란 - 일단 회귀분석을 왜 하는지 알아야 앞으로 내용들도 섞이지 않을 것이다. 회귀분석은 총 4단계의 프로세스가 있다. 1단계 : 두 변수 사이에 선형적 관계가 있다고 강력히 의심될 때, 회귀분석을 실시한다. 아래 식으로 표현되는 선형관계가 존재하는 것으로 이미 가정한다. 2단계 : 적절한 방식으로 수집된 적절한 데이터를 통해서 두 변수 간 선형관계를 가장 잘 설명해주는 직선, 즉 회귀직선을 찾는다. 실제로 두 변수 간에 관계가 있는지는 지금 알 수 없기 때문에, 표본을 추출한다. 표본을 적절하게 추출하는 방식과 회귀직선을 긋는 방법인 최소자승법은 이 글에서는 생략하도록하고 언급만하도록 하겠다... 2023. 8. 21. 이전 1 다음 반응형
