본문 바로가기

CS/MachineLearning61

ML Pipeline 1. 쉬운 문제 vs 어려운 문제 a. 우리가 해야하는 데이터 변화가 빠를까 아니면 느릴까? b. Online serving vs Offline Serving 2. Model Registry a. 모델과 부가 정보를 저장 - model-id,model-URI,description, user,metrics,hyper-parameters & AI연구자와 엔지니어를 이어주는 도구 3. Concept Drift a. 예측 모델이 처음에는 잘 맞다가 시간이 지날수록 점점 정확도가 떨어지면서 결국 유명무실해지는 문제 4. MLOps 성숙도 레벨 a. 구글에서 배포한 자료 2022. 6. 7.
전체 아키텍처 serving monitoring : Prometheus, Grafana, Thanos 2022. 5. 30.
추천 시스템 추천 알고리즘 1. 협업 필터링 (Collaborative Filtering, CF) -> 구입 및 소비한 제품에 대한 소비자의 평가 패턴이 비슷한 집단 속에서 서로 접하지 않은 제품을 추천하는 기술 2. 컨텐츠 기반 필터링 (Content-Based Filtering) 3. 지식 기반 필터링 (Knowledge Based Filtering) 2022. 5. 18.
sklearn개발자가 쓴 교과서 - 파이썬 라이브러리를 활용한 머신러닝 이 글은 책 증정 이벤트에 당첨되어 저자에게 책을 제공받아 작성하였습니다. (그렇지만 늘 그래왔듯 책을 받은 것과 별개로 최대한 주관적인 관점을 담아 적습니다) 머신러닝이 유행하고 계속해서 책이 쏟아져나옵니다만, 가끔 보면 비싼 돈을 주고 구매했는데 번역이 이상하거나 책의 내용이 너무 기초적이거나 혹은 반대로 너무 알아듣기 어렵게 서술되어있는 경우를 봅니다. 물론 잘 하시는 분은 책을 볼 필요도 없이 구글링만으로 뚝딱뚝딱 좋은 작품을 만들어내겠지만, 이 분야를 잘 모르거나, 책을 보는 성향이 강한 저 같은 사람에게는 좋은 책만큼 소중한 학습도구도 없습니다. 그렇지만 좋은 책이 나오기란 굉장히 어렵습니다. 능력의 문제가 아닌 구조적인 문제 때문입니다. 더 적나라하게 말해 돈과 시간의 문제라는 겁니다. 다른.. 2022. 5. 16.
머신러닝 실무 프로젝트 p.27 머신러닝 프로젝트 과정 1. 비즈니스 문제를 머신러닝 문제로 정의한다 2. 논문을 중심으로 유사한 문제를 조사한다. 3. 머신러닝을 사용하지 않는 방법은 없는지 검토한다. 4. 시스템 설계를 고려한다. 5. 특징량, 훈련 데이터와 로그를 설계한다. 6. 실제 데이터를 수집하고 전처리한다. 7. 탐색적 데이터 분석과 알고리즘을 선정한다. 8. 실제 데이터를 수집하고 전처리한다. 9. 시스템에 통합한다. 10. 예측 정확도, 비즈니스 지표를 모니터링한다. p.27 머신러닝으로 해결한 문제 사례를 찾으려면 다음 세 가지 사항을 중점적으로 살펴보는 것이 좋다. 1. 어떤 알고리즘을 사용했는가? 2. 어떤 데이터를 특징량으로 사용했는가? 3. 머신러닝 부분을 어떻게 통합했는가? p.28 일반적인 비즈니스.. 2022. 5. 14.
머신러닝 시스템 디자인 패턴 p.8 머신러닝의 진정한 가치는 추론 결과에 있다. 추론 결과가 애플리케이션의 사용자나 비즈니스 프로세스에 대해 효과를 발휘해야만 도움이 되는 머신러닝이라 말할 수 있을 것이다. 학습 시 아무리 높은 정확도를 낼 수 있는 머신러닝 모델이라 할지라도 실전에서 사용되지 않으면 의미가 없기 때문이다. 머신러닝의 연구 분야에서는 학습한 모델의 평가 결과나 학습을 더욱 빠르게 하는 방법, 이전에 없던 새로운 것들을 생성하는 콘텐츠 등이 주로 이목을 끌지만, 프로덕트로서 사용자에게 가치를 제공하기 위해서는 머신러닝을 프로덕트에 포함해 제공할 필요가 있다. p.9 Google은 프로덕트 개발 과정에서 인간과 AI의 연관성에 관한 프랙티스를 정리한 가이드북인 'PAIR (People + AI Research)'를 공개.. 2022. 5. 10.