海量資料 (Big Data)
│
├── 儲存/管理 → 資料庫開發 (SQL/NoSQL/NewSQL, 分散式架構, 調優)
│
├── 計算/處理 → 大數據工程 (Hadoop/Spark/Flink, 流批一體, 資料湖)
│
└── 分析/建模 → 模式識別 / 機器學習 / 深度學習
(特徵工程, 演算法選型, 模型部署, MLOps)
| 領域 | 核心技能 | 典型工具/框架 |
|---|---|---|
| 資料庫開發 | SQL 深度優化、索引理論、事務/鎖、分庫分表、備份恢復、NewSQL (TiDB/OceanBase) | MySQL/PostgreSQL, Oracle, SQL Server, Redis, MongoDB, Elasticsearch |
| 大數據工程 | 分散式檔案系統、資源調度、ETL/ELT、流處理窗口、數據治理、湖倉一體 | Hadoop, Spark, Flink, Kafka, ClickHouse, Doris, Airflow, dbt |
| 模式識別/ML | 統計學習理論、優化算法、特徵工程、模型評估、部署監控、AutoML | Python (scikit-learn, PyTorch, TensorFlow, XGBoost), ONNX, Triton, MLflow |
結語:四者非「三選一」而是層層疊加,建議從資料庫與 Python 入手,逐步向上延伸。