Точность попадания в интерес — только одна сторона качества. Система может хорошо угадывать привычное и при этом быть однообразной или неуместной.

Несколько углов обзора

Офлайн-метрики вроде precision и recall удобны для быстрых сравнений на исторических данных. Онлайн-эксперимент показывает, как меняется поведение в реальном интерфейсе. А разнообразие, новизна и доля полезных действий помогают увидеть опыт целиком.

Итоговую метрику стоит связывать с задачей продукта: помочь найти нужное, открыть новое или принять решение быстрее.