什么是端侧AI？
端侧AI（Edge AI/On-Device AI）是把 AI 大模型的推理（甚至部分训练）从云端搬到手机、PC、汽车、家电、机器人等终端设备上运行的技术路线。它与"云端AI"是一对镜像：
| 维度 | 云端AI | 端侧AI |
|---|---|---|
| 算力 | 巨大（数据中心） | 受限（NPU/GPU/SoC） |
| 延迟 | 百毫秒级（含网络） | 毫秒级 |
| 隐私 | 数据上云 | 本地处理 |
| 成本 | 按调用付费 | 硬件一次性投入 |
| 典型场景 | 大模型对话 | 实时翻译、影像 |
为什么端侧AI在2025年突然火？
1) 模型小型化突破
从 LLaMA-3 8B、Phi-3、Qwen-2.5 1.5B 到 DeepSeek-V3 蒸馏小模型，3B~7B 参数模型已能在手机/PC 上跑出"够用"的对话与生成效果。
2) 硬件NPU爆发
高通骁龙 8 Gen 3/Elite、苹果 M4/A18 Pro、联发科天玑 9400、英特尔 Lunar Lake 都内置了 30~50+ TOPS 的 NPU。
3) 应用驱动
实时翻译、AI 影像（一键消除、AI 抠图）、语音助手、个人知识库等场景天然要求"快+私密"。
四大主力载体
- AI 手机：苹果 Apple Intelligence、华为盘古、三星 Galaxy AI、小米 HyperOS 2、OPPO AndesGPT；
- AI PC：微软 Copilot+ PC、苹果 M 系列 Mac、华为擎云、联想 AI PC；
- AI 汽车：智能座舱（理想 Mind GPT、小鹏 XOS）、智驾大模型本地化；
- AIoT 家居/机器人：智能音箱、家用机器人、扫地机的本地语义理解。
核心技术栈
- 模型压缩：量化（INT8/INT4）、剪枝、蒸馏；
- NPU 与异构计算：CPU+GPU+NPU 协同；
- 端侧推理框架：ONNX Runtime、TensorRT-LLM、MLC-LLM、llama.cpp、Apple Core ML；
- 端云协同：简单任务端侧、复杂任务云端的混合架构。
产业链拆解
| 环节 | 关键内容 | A股代表公司 |
|---|---|---|
| SoC/NPU | 骁龙、天玑、麒麟、紫光展锐 | 北京君正、瑞芯微、晶晨股份、全志科技、恒玄科技 |
| 存储 | LPDDR5X/UFS 4.0、端侧大模型需更大内存 | 兆易创新、北京君正、江波龙 |
| 射频/连接 | Wi-Fi 7、UWB | 卓胜微、唯捷创芯、立讯精密 |
| 整机/终端 | 手机、PC、汽车、机器人 | 立讯精密、传音控股、比亚迪等 |
| 软件与应用 | 端侧大模型、AI 应用 | 科大讯飞、金山办公、虹软科技、万兴科技 |
三大瓶颈
- 功耗与续航：端侧大模型推理对电池是巨大压力；
- 内存墙：7B 模型动辄占用 4~8GB 内存，挤压系统其他应用；
- 模型能力上限：端侧模型与云端 GPT-4 级别仍有差距，必须靠端云协同弥补。
结语
端侧AI 不是替代云端，而是把 AI 渗透到每一个设备。它将驱动 2025~2027 年的换机潮、PC 升级潮，是消费电子最确定的"AI红利"。本文从原理、驱动力、载体、技术栈、产业链与瓶颈六个维度做了客观梳理，不构成任何投资建议。
深度扩展:端侧 AI 的"模型小型化与硬件爆发"
🔸 一、端侧 vs 云端 AI 的本质差异
| 维度 | 端侧 AI | 云端 AI |
|---|---|---|
| 数据位置 | 本地设备 | 云端服务器 |
| 延迟 | 毫秒级 | 百毫秒-秒级 |
| 隐私 | 高(数据不外传) | 中(数据上云) |
| 算力 | 受限(芯片算力) | 强大(数据中心 GPU) |
| 成本 | 一次性硬件成本 | 持续运营成本 |
🔸 二、模型小型化的关键技术
- 模型蒸馏(Distillation):大模型教小模型(DeepSeek-R1-Distill)
- 量化(Quantization):FP16 → INT8/INT4,模型体积缩小 75%
- 稀疏化(Sparsity):只激活相关神经元
- 知识蒸馏:从大模型学习"软标签"
- 架构创新:Mamba/混合专家等更适合端侧
🔸 三、NPU 的爆发
NPU(神经网络处理单元)是端侧 AI 的核心硬件:
- 苹果 ANE:iPhone 16 起每代 NPU 算力翻倍
- 高通 Hexagon:骁龙 8 Gen 3 集成 NPU
- 联发科 APU:天玑 9300 集成
- 华为达芬奇:麒麟 9000S 集成
- 国产 NPU:寒武纪/地平线/黑芝麻/芯原微
🔸 四、四大载体场景
- AI 手机:苹果 Intelligence、华为盘古大模型、安卓 Gemini
- AI PC:联想 AI Now、华为 MateBook X Pro
- AI 汽车:特斯拉 FSD、华为 ADS、小鹏 XNGP
- AIoT:智能音箱、可穿戴、智能家居
🔸 五、A 股核心标的
- 寒武纪(688256):国产 AI 芯片龙头
- 海光信息(688041):深算系列 GPU/DC
- 地平线(9660.HK):车规级 NPU 龙头
- 瑞芯微(603893):IoT SoC 龙头
- 晶晨股份(688099):多媒体 SoC
🔸 六、三大瓶颈
- 算力限制:端侧芯片算力仍远小于云端
- 模型效果:小模型在复杂任务上仍有差距
- 生态碎片:不同芯片/系统需要适配
本文仅作相关主题科普/介绍,不构成任何投资建议。市场有风险,投资需谨慎。