반응형 프로젝트45 12. 프로젝트 회의 정리(09.18) 회의정리 0. 분반별 주말 회의 내용 공유 1반 공유 내용 Streamlit 개발 공유 현황을 공유하고, 전체적으로 대쉬보드를 어떻게 구현할 것인지 특히 기능 측면에서 간략한 기획 아이디어 회의 요청 2반 공유 내용 머신러닝 모델 관련 기존에 2반에서 제시한 피처 엔지니어링 방법에 한계가 있었음. 또한, Streamlit 개발을 함께 진행해야하므로 2반에서 부족한 Streamlit 학습시간이 필요하고, 2반의 모델링 과정에 대한 교차 검증이 필요하다고 생각함. 1반이 2반에서 만들어낸 파생변수 예시와 후진제거법 등을 활용하여 비골목 상권으로 분류된 데이터 기반 새로운 모델링을 실시하여, 모델링에 대한 새로운 시각을 발견해줄 것을 요청 1. Streamlit 구현 1-1 기획 초안 강남구 지도를 상권영역에.. 2023. 9. 18. 11. 프로젝트 회의 정리(09.16-17) 회의정리 1반. Streamlit 구현 1-1 기존 기획 기획했었던 지도 위의 영역선택을 기술적으로 해결할 수 있는 방안을 찾지 못함. 결론 : 차선책 강구 1-2 차선책 강남구 지도를 상권영역에 따라 분리하고, 각각 상권 명을 나타내주어 사용자가 원하는 영역을 찾을 수 있도록 정보를 제공해주면 왼쪽의 사이드바에서 선택란에서 상권 명을 선택이 가능하도록 구현 해당 지도에는 확대/축소 기능이 필요 사용자는 상권 명(영역선택), 시간대 선택, 분기 선택 후, 나머지 변수들은 사용자가 직접 slider를 사용하여 값을 지정하며 예측 모델을 임의로 조절하는 기능도 구현 예정 + 필요 과제 세부 기능들을 구현하기 위한 Streamlit 베이스 라인 코드를 먼저 작성해야한다. 2반. MODEL 탐색 2-1 피처 선.. 2023. 9. 17. 피처 엔지니어링(Feature Engineering) 이란? 프로젝트 진행 중 모델링 파트를 맡게되면서 모델의 예측도와 신뢰성을 어떻게 높이기 위해 많은 고민을 했었는데, 역시나 그 고민들은 분석 선배님들이 겪어간 과정이었다. 이러한 고민들이 모여 "피처 엔지니어링" 이라는 과정이 존재한다는 것을 알게 되었다. 오늘은 모델링 하이퍼 파라미터 튜닝보다 중요한 피처 엔지니어링에 대해 알아보고 고민한 흔적을 남겨보고자 한다(특히 이 Velog를 주로 참고할 예정) 1. 피처엔지니어링이란? 피처엔지니어링이란 무엇인가에 관한 다양한 분들의 의견을 전부 합치면, 모델의 성능 개선을 위한 피처 가공 과정 이라면 전부 피처엔지니어링이라고 부를 수도 있지 않을까 하는 느낌을 받았다.. 사실상 탐색적데이터분석(EDA)이나 데이터 전처리(Data Preprocessing)도 둘의 우.. 2023. 9. 16. 10. 프로젝트 회의 정리(09.15) 회의정리 1. 모델링 실시의 건 결론 : 최초에 가장 러프하게 모델을 잡아서 실험적으로 테스트하며 모델 수정하기로 결정 2. 모델 제작의 건 2-1 성과 결론 : LightGBM에서의 스케일링은 효과가 미미한 것을 확인하였고, 피처 엔지니어링에서는 차원 축소와 파생 변수를 중점적으로 실시하여 여러 경우의 수를 조합하여 가장 RMSE가 낮은 모델을 선택하기로 의결 이번에도 분반 1, 2로 나뉘어 따로 범위는 정하지 않고(당장 특정되는 것이 아니라고 판단), 분반별 자유롭게 파생변수를 만들거나 상권분류를 해보면서 RMSE를 최대한 줄인 모델을 비교하여 선택하기로 의결 - 1반과 2반의 모델 결과(RMSE 중심)를 비교해봤을 때, 2반의 접근 방식이 조금 더 유의미한 것으로 판단하여 분반별 모델 찾기를 중단함.. 2023. 9. 15. 9. 프로젝트 회의 정리(09.14) 회의정리 1. 모델링 실시의 건 결론 : 최초에 가장 러프하게 모델을 잡아서 실험적으로 테스트하며 모델 수정하기로 결정 2. 모델 제작의 건 2-1 성과 피처 엔지니어링를 통한 모델 평가 수치 개선(진행 중) Step 01. 면적당 변환 (완료) Step 02. 이상치 / 결측치 확인 — 배후지 데이터 결측값 채우기 (완료) Step 03. 범주형 데이터 인코딩 검토(완료) Step 04. 숫치형 데이터 스케일링(이상치 제거 필요)(완료) Step 05. 수치형 데이터 분포 확인(완료) Step 06. 변수 간 관계 확인 후 차원 축소 및 파생 변수 생성(완료) 결론 : LightGBM에서의 스케일링은 효과가 미미한 것을 확인하였고, 피처 엔지니어링에서는 차원 축소와 파생 변수를 중점적으로 실시하여 여러.. 2023. 9. 14. 이전 1 ··· 3 4 5 6 7 8 9 다음 반응형
