基础数据层
该层主要处理业务数据和用户行为日志数据,数据来源于前端埋点和系统日志。其中,用户数据包括注册信息、个人资料等基础信息;文章数据则涵盖用户上传的内容、发布信息等基础属性。用户行为日志数据实时流向Kafka,用于实时计算和分析;而业务数据则以批量形式存储在HDFS上,为后续的离线分析提供数据支持。
数据处理层
这一层面对基础数据进行深度处理,主要包括用户画像和文章画像的构建。具体流程包括:基于离线数据和实时数据,通过多种算法进行数据分析和特征提取,构建用户兴趣模型和阅读习惯模型。
召回与排序
召回环节通过算法逻辑从海量文章中筛选出用户感兴趣的候选集合,集合规模通常在上千级别。排序环节则对候选文章进行用户画像模型结果的排序,生成最终的推荐列表。
推荐业务层
该层通过提供RESTful接口为推荐业务场景服务,主要包括以下功能:
- Feed流推荐:支持用户在今日推荐场景中通过不断下拉刷新获取内容流。