토스ㅣSLASH 22 - 물 흐르듯 자연스러운 ML 서비스 만들기

https://www.youtube.com/watch?v=EEsYbiqqcc0&ab_channel=%ED%86%A0%EC%8A%A4 

1. 아키텍처 생각하기 전에 기본부터 생각하자

 

2. 주의 또 주의

    a. 오픈소스를 도입할 때는 언제 도입해서 언제까지 사용하고 언제 걷어낼 것인지 도입의 처음부터 계획과 전략이 필요

    b. 토스에서는 사내 라이브러리를 통해 한 번 래핑을 함 (프레임워크 의존성 줄이고 오픈소스 도입하는 바람직한 방법 중 하나)

    c. MLflow가 위치하는 부분을 정확히 모델의 메타 정보 관리와 배포 힌트 정도로 한정함.

        - RDB로 대체되어도 거의 영향이 없을 정도의 작은 의존성만 사용

        - 사내 라이브러리의 랩핑도 거의 동일한 수준의 메서드로만 구성 -> 새로 합류하는 팀원이 빨리 적응할 수 있도록 표준화

    d. 토스는 모델 서빙을 Java와 Python 라이브러리를 동시에 제공하고 있음

    e. 토스 모델 서빙 라이브러리는 MLflow와 관계가 없음

        - TF의 코어 라이브러리와 Pytorch, ONNX 런타임 그대로를 사용하고 있음

    f. 보통 딥러닝 모델의 서빙은 자바 레이어가 고려되어 있지 않고 여러 런타임을 지원하기 까다로운 편 

    g. 그래프로 잘 정의가 되고 패키징 된 모델은 서빙 관점에서 중간에 포함된 수백 수천 줄의 구현이나 복잡한 환경 의존성을 회피하게 만들어줍니다.

    h. 

    f.