[머신러닝 시스템 디자인 스터디 Part3]Defining metrics

Metrics for Online Testing

먼저, 오프라인에서 성능이 좋은 모델들을 선택하면 생산 환경에서 모델들을 테스트 할수 있는 온라인 메트릭스를 사용해야할 것이다. 또한 새롭게 생선된 모델을 효율적으로 사용할 수 있는 결정은 온라인 테스트의 성능에 따라 다르다.

Component-wise 와 End-to-End 메트릭스

검색 순위 모델을 만든다고 가정해보자. Component-wise 는 NDCG와 같은 메트릭스를 의미하고, End-to-End 는 시스템에 새로운 모델을 적용하여 얼마나 좋은 성능을 찾을 수 있는지를 의미한다. 일반적으로 End-to-End 메트릭은 사용자의 참여율과 유지율에 관한 시나리오로 생각할 수 있다. 

다른 예로, 다른 작업들에서 사용될 Machine Learning 시스템을 개발하는 시나리오가 있다. 자세한 내용은 Entity 연결을 위한 머신러닝 시스템을 디자인하는 것인데, 이때 검색의 연관성을 향상시켜야하는 것이 목적이다. 여기서 Component-wise 메트릭스들로 Entity 연결 모델의 성능을 평가하고, 또한 어디에 Entity 연결 component가 궁극적으로 어디에 연결해야 할지를 예상해야한다.

Architecture Discussion

다음 차례로, 시스템의 Components(구성 요소들)을 생각해보고 그 구성 요소들을 통해서 데이터가 어떻게 흐를지 고민해야 할 필요가 있다. 

검색 엔진의 머신러닝 시스템 구조적 구성요소들

검색 엔진에서 요청 쿼리를 만드는 검색자를 예를 들어 보자. 

'Itlian Restaurant' 을 검색하는 쿼리를 요청했을때, 그 쿼리에 형편없이 단어가 만들어지거나 스펠링이 다를 수 있다. 그래서 검색어를 수정하는 재작성 구성요소 쿼리가 필요하다.