2008年于中科院声学所获博士学位,主导了优酷土豆视频推荐支撑平台设计与开发,目前负责低延时、高并发的大数据应用支撑平台建设。
从视频网站的分类来说,优酷土豆属于两者兼备的模式(用户产生内容+专业视频内容)。而这两种类型的网站内容和用户行为各异,相应的推荐系统的设计也会有一定差别。对此优酷土豆建立了自己的推荐系统,平衡二者的权重。并在此基础之上发现GPU产生类型。在未来也将在此基础上,进行新的拓展。
目前,优酷土豆视频推荐系统分可大致分为为两部分。第一部分,是底层的算法架构,主要做算法的研究工作。第二部分,是上层的支撑架构,即大数据的支撑平台。主要用于将海量视频信息,快速实时的推荐给用户,实现良好的用户体验。
和旧有的视频推荐系统相比,新的视频推荐系统,将数据和计算建立在Hadoop大数据平台之上,包括信息算法的小流量支持和各种业务的流量支持,等可以作为扩展在这个平台上得以实现。
现在,优酷土豆每天可以承受4-5亿次响应,每次响应在3-4毫秒左右。有了一个非常不错的成绩。
而在用户行为的收集上,视频行业一直都把它当作重中之重。对此,优酷土豆成立专项小组,对用户行为进行收集。在新的架构之上,包括之前没有办法收集的用户实时访问的视频数据,用户搜索行为、访问的页面,现在都可以实现实时采集,并引入到实时的算法当中去。同时,在数据的更新频率上,优酷土豆也将更新频率分为了三钟类型。用以实现更加快速实时的用户体验。
未来的优酷土豆视频推荐将会朝什么方向发展?谈到这个问题,单经理对记者说:“未来,优酷土豆视频推荐未来的发展方向可大致分为两点。第一,系统架构上将更加实时,以便能更加准确、快速对用户进行分析。第二,在现在的UGC、PGC背景下,传统的基于用户行为的数据,不足以挖掘出用户的全部信息。因此,我们想通过用户行为,用机器自动聚合出标签,用标签做类似准内容推荐。这个标签可以用在用户身上,也可以用在内容上面,来标明用户喜好。更好的提升对用户的服务体验。
Ubuntu 12.04单机版环境中搭建hadoop详细教程,在Ubuntu下创建hadoop用户组和用,创建hadoop用户。
在mac os上安装hadoop的文章不多,本文安装环境的操作系统是 MAC OS X 10.7 Lion,共分7步,注意第三个配置在OS X上最好进行配置,否则会报错“Unable to load realm info from SCDynamicStore”。
Nutch采用一个MR对爬取下来的文档进行清洗和封装成一个action列表。Nutch会将封装好的数据采用基于http的POST的方法发送一个请求数据包给solr的服务器,solr.commit();这个方法在前面一篇文章中解释有些偏差,solr的整个事务都是在solr服务器端的,这跟以前的的事务有所
、默认项目名称为MapReduceTools,然后在项目MapReduceTools中新建lib目录,先将hadoop下的hadoop-core-1.0.4.jar重命名为hadoop.core.jar,并把hadoop.core.jar、及其lib目录下的commons-cli-1.2.jar、commons-lang-2.4.jar、commons-configuration-1.6.jar、jackson-m
SAP特别设立了一个“大数据”合作伙伴理事会。该理事会致力于进行合作创新,研发基于SAP实时数据平台和Hadoop的新产品解决方案,探索新应用和架构
【聚焦搜索,数智采购】2021第一届百度爱采购数智大会即将于5月28日在上海盛大开启!
本次大会上,紫晶存储董事、总经理钟国裕作为公司代表,与中国—东盟信息港签署合作协议
XEUS统一存储已成功承载宣武医院PACS系统近5年的历史数据迁移,为支持各业务科室蓬勃扩张的数据增量和访问、调用乃至分析需求奠定了坚实基础。
大兆科技全方面展示大兆科技在医疗信息化建设中数据存储系统方面取得的成就。
双方相信,通过本次合作,能够使双方进一步提升技术实力、提升产品品质及服务质量,为客户创造更大价值。