Netflix es una compañía muy exitosa nacida en una época analógica y que ha sabido adaptarse a una época digital dominada por Internet. Comenzó alquilando películas en DVD a inicios de este siglo y luego su éxito definitivo fue con el sistema de streaming de series y películas distribuidas a través de internet creando la televisión por internet.
Este artículo habla de los algoritmos que utiliza Netflix para recomendarte lo que tú quieres ver. Y digo algoritmos porque no es uno solo, son varios, basados en el machine learning, en el aprendizaje de máquinas para proporcionarte la mejor experiencia a la hora de ver series y películas.
Un concurso para mejorar la recomendación
Prueba del hecho de la importancia del machine learning y los algoritmos fue que Netflix lanzó en 2006 un concurso llamado Netflix Prize para desafiar a cualquier persona o empresa para la predicción de calificaciones de películas. Ofreció 1 millón de dólares a quien mejorara la precisión de un sistema existente llamado Cinematch en un 10%. Era la forma de buscar nuevas formas novedosas en la mejora del negocio que en aquel momento estaba naciendo.
El concurso fue un éxito y tuvo más de 49000 participantes en más de 40.000 equipos de 184 diferentes países. Se recibieron más de 41000 solicitudes válidas de más de 4600 diferentes equipos.
El equipo ganador denominado BellKor’s Pragmatic Chaos fue una coalición internacional de cuatro equipos de investigadores que pertenecían a AT&T, Commendo (Austria), Pragmatic Theory (Canada) y Yahoo (un ingeniero de Yahoo Research Israel). El 26 de junio de 2009 presentaron su solución al Netflix Prize, lo que resultó en una puntuación de 0.8558, que correspondía a una mejora con respecto al algoritmo Netflix Cinematch del 10.05%. El resultado final puede verse en la Fig. 1.
Dataset utilizado en el concurso
Si te interesan los datos quizás te guste tener acceso al dataset, es decir, los datos que proporcionó Netflix para que se hicieran modelos los equipos. Puedes ver la información desde aquí. Este conjunto de datos se creó para que los participantes del Premio Netflix los utilizaran.
Los archivos de clasificación de películas del dataset contiene más de 100 millones de clasificaciones de 480 mil clientes anónimos elegidos al azar sobre 17 mil títulos de películas. Los datos fueron recolectados entre octubre de 1998 y diciembre de 2005 y reflejan la distribución de todas las calificaciones recibidas durante este período. Las calificaciones están en una escala de 1 a 5 estrellas (integrales). Para proteger la privacidad del cliente, cada cliente id ha sido reemplazado por un id asignado al azar.
Del DVD a la televisión por internet
El éxito de Netflix es que ha sabido reciclarse y utilizar la tecnología de hoy en día para crecer. A sus usuarios les gustan lo innovador, lo último y esta plataforma de streaming se lo proporciona. A todos nos gusta que nos cuenten una historia y si esa historia llegamos a ella a través de un camino directo, sin desvíos entre medio, seguro que recomendamos a esa plataforma. Por tanto, se encuentra a medio camino entre internet y una historia.
La recomendación mediante algoritmos
Los algoritmos de recomendación son el núcleo Netflix. Brindan a los clientes sugerencias personalizadas, cada cliente tiene sus propias sugerencias, para reducir la cantidad de tiempo y la frustración para encontrar algo de contenido excelente para ver. Un factor clave es que Netflix y otras plataformas saben que sus clientes solo ven un número definido de horas, y es imposible que sean capaces de ver todo el catálogo de películas y series que tienen en sus catálogos.
Debido a la importancia de las recomendaciones, la plataforma busca continuamente mejorarlas. Para ello, utilizamos los datos sobre el contenido que nuestros miembros ven y disfrutan, además de cómo interactúan con nuestro servicio, para determinar mejor cuál será la próxima gran película o programa de televisión para ellos. Vamos más allá de validar nuestras ideas en datos históricos para comprender cómo las personas realmente responden a los cambios en nuestro sistema de recomendaciones ejecutando pruebas A/B en línea y midiendo métricas de satisfacción a largo plazo. Estos experimentos también nos brindan nuevos conocimientos para mejorar aún más nuestra investigación y nuestro producto. Este ciclo de experimentación nos ha llevado a ir más allá de la predicción de calificaciones, que se hizo famosa con el premio de Netflix, y a la clasificación personalizada, la generación de páginas, la búsqueda, la selección de imágenes, la mensajería y mucho más.
The Netflix Recommendation Engine
El más exitoso algoritmo se llama Netflix Recommendation Engine (NRE). Se compone de algoritmos que filtran el contenido en función de cada perfil de usuario individual. El motor filtra más de 3000 títulos a la vez utilizando 1300 grupos de recomendaciones basados en las preferencias del usuario. Es tan preciso que el 80 % de la actividad de los espectadores de Netflix está impulsada por recomendaciones personalizadas del motor. Se estima que el NRE le ahorra a la compañía más de mil millones de dólares al año.
No es la única empresa que utiliza un motor de recomendaciones. Amazon, LinkedIn, Spotify, Instagram, Youtube y muchas otras plataformas web utilizan motores de recomendación para predecir las preferencias de sus usuarios e impulsar su negocio. Pero Netflix claramente tiene el motor más exitoso. El 47% de los norteamericanos prefieren usar Netflix con una tasa de retención del 93%. Amazon Prime ocupa el segundo lugar con solo el 14% y todos los demás servicios de transmisión por suscripción permanecen en un solo dígito.
Sistema del diseño de Netflix
El diseño del sistema puede verse en la siguiente figura:
Cómo funciona el sistema de recomendación de Netflix
Cada vez que accedes al servicio el sistema de recomendaciones se esfuerza por ayudarte a encontrar un programa o una película para disfrutar con el mínimo esfuerzo. Se estima la probabilidad de que vea un título en particular en el catálogo en función de una serie de factores que incluyen:
- Las interacciones con el servicio (como el historial de visualización y cómo calificó otros títulos). Si se ven series o películas románticas, es probable que el sistema entienda que ofrecer películas del mismo tipo puede conseguir un hit (un éxito).
- Se tiene en cuenta de otras personas con gustos y preferencias similares en el servicio.
- También se tiene en cuenta información sobre los títulos, como su género, categorías, actores, año de estreno, etc.
Además de saber lo que has visto, para personalizar mejor las recomendaciones, también se analizan cosas como:
- la hora del día en que ve,
- los dispositivos en los que está viendo, y
- cuánto tiempo se está delante de Netflix.
Los algoritmos de filtrado colaborativo (CF) se basan en la idea de que si dos clientes tienen un historial de calificación similar, se comportarán de manera similar en el futuro (Breese, Heckerman y Kadie, 1998). Si, por ejemplo, hay dos usuarios muy probables y uno de ellos ve una película y la califica con una buena puntuación, entonces es una buena indicación de que el segundo usuario tendrá un patrón similar.
Referencias
- https://twitter.com/thexxlman/status/1455140141970903043?s=21
- https://dl.acm.org/doi/10.1145/2843948
- https://medium.com/@narengowda/netflix-system-design-dbec30fede8d
- https://netflixtechblog.com/system-architectures-for-personalization-and-recommendation-e081aa94b5d8
- https://www.theinsaneapp.com/2021/03/system-design-and-recommendation-algorithms.html
- https://netflixtechblog.com/netflix-recommendations-beyond-the-5-stars-part-1-55838468f429
- https://electronics.howstuffworks.com/netflix2.htm
- https://web.archive.org/web/20090627212353/http://www.research.att.com/~volinsky/netflix/bpc.html
- http://pragmatictheory.blogspot.com/
- https://www.kaggle.com/netflix-inc/netflix-prize-data
- https://research.netflix.com/research-area/recommendations
- https://research.netflix.com/research-area/machine-learning
- https://www.linkedin.com/pulse/data-science-netfx-promoting-originals-kelly-uphoff/
- https://netflixtechblog.com/using-machine-learning-to-improve-streaming-quality-at-netfx-9651263ef09f
- https://medium.com/@springboard_ind/how-netflixs-recommendation-engine-works-bd1ee381bf81
- https://www.lighthouselabs.ca/en/blog/how-netflix-uses-data-to-optimize-their-product
- https://research.netflix.com/research-area/recommendations
