시스템 디자인

[머신러닝 시스템 디자인 스터디 Part3]Defining metrics

Metrics for Online Testing 먼저, 오프라인에서 성능이 좋은 모델들을 선택하면 생산 환경에서 모델들을 테스트 할수 있는 온라인 메트릭스를 사용해야할 것이다. 또한 새롭게 생선된 모델을 효율적으로 사용할 수 있는 결정은 온라인 테스트의 성능에 따라 다르다. Component-wise 와 End-to-End 메트릭스 검색 순위 모델을 만든다고 가정해보자. Component-wise 는 NDCG와 같은 메트릭스를 의미하고, End-to-End 는 시스템에 새로운 모델을 적용하여 얼마나 좋은 성능을 찾을 수 있는지를 의미한다. 일반적으로 End-to-End 메트릭은 사용자의 참여율과 유지율에 관한 시나리오로 생각할 수 있다. 다른 예로, 다른 작업들에서 사용될 Machine Learning ..