大數據新聞推薦系統演算法概覽：從協同過濾到深度學習

核心推薦範式

典型工程管線（Hadoop/Spark 架構）

1. 資料收集：Flume/Kafka 收集點擊、曝光、停留日誌 → HDFS/Hive。
2. 特徵工程：Spark SQL 清洗、生成用戶畫像（關鍵詞權重、類別偏好）、文章向量（BERT/Word2Vec/LDA）。
3. 模型訓練：
   離線：Spark MLlib ALS / LDA / XGBoost / TensorFlow 分散式訓練。
   近線：Flink/Storm 增量更新嵌入向量。
4. 索引建構：Faiss/Annoy/HNSW 建立向量近似最近鄰索引，支援毫秒級召回。
5. 線上服務：召回 → 粗排 → 精排 → 重排，gRPC/Thrift 微服務化部署。

入門建議

• 先跑通 **Item-based CF + TF-IDF** 基線，理解召回/排序流程。
• 再引入 **ALS 矩陣分解** 處理隱性回饋。
• 最後嘗試 **Wide & Deep** 或 **DeepFM** 融合 ID 與文本特徵。
• 重點閱讀：《推薦系統實踐》（項亮）、《Deep Learning for Recommender Systems》（Covington et al.）。