润百AI

标签：模型压缩

共 4 篇

2026年9月22日0 条留言

模型剪枝（Pruning）入门：除了量化与蒸馏，大模型还有第三种"瘦身"思路

模型越做越大，推理成本也随之上升。行业里常见的降本手段有三条路：量化压精度、蒸馏换小模型，还有一条常被忽略的——剪枝（Pruning）。本文用大白话讲清剪枝是什么、怎么剪，以及它和另外两条路的区别。一、什么是模型剪枝剪枝的核心思想很朴素：神经网络里并不是每个参数都同样重要。剪枝就是找出那些"贡献很小"的权重、神经元或注意力头，把它们删掉，让模型变得更稀疏、更轻。这个思路并不新。1989 年 LeC

技术教程模型压缩大语言模型

2026年9月20日0 条留言

模型量化（Quantization）入门：让大模型"瘦身"跑进消费级显卡

模型量化（Quantization）是大模型部署环节最常被提到的一项技术。它的目标很朴素：在尽量不损失效果的前提下，减少模型占用的显存和计算量，让同一张显卡能跑更大的模型、服务更多的并发。一、为什么需要量化以一个 70 亿参数（7B）的模型为例，如果权重用 FP16（16 位浮点）存储，每个参数占 2 字节，仅权重就要约 14 GB 显存；再叠加激活值、KV Cache 和框架开销，实际需求往往超

技术教程模型压缩大语言模型

2026年9月19日0 条留言

知识蒸馏入门：让小模型"学会"大模型的本事

大模型效果好，但往往又大又慢，部署到手机、边缘设备或要求低延迟的服务上就很吃力。有没有办法让一个小模型"继承"大模型的能力？知识蒸馏（Knowledge Distillation）就是为此而生的一种模型压缩技术：它用一个已经训练好的大模型（教师）去指导一个小模型（学生）学习，让学生用更小的体量接近教师的水平。核心思想：不只是学"答案"，更要学"思路"传统训练只告诉模型"这张图是猫"，属于硬标签（h

技术教程模型压缩深度学习

2026年7月1日0 条留言

边缘AI：在设备端运行大模型的挑战与突破

当大语言模型开始在云端展现出惊人的能力时，一个新的问题随之浮现：能否将这些强大的AI能力"搬"到手机、物联网设备、汽车等边缘终端上运行？这就是边缘AI——在设备端而非云端运行AI模型——正面临的核心课题。边缘AI的驱动力来自多个方面。首先是隐私保护：用户数据不需要上传到云端处理，敏感信息在本地完成计算，这从根本上解决了数据外泄的风险。其次是实时性：自动驾驶、工业质检等场景要求毫秒级响应，网络延迟是

技术测评边缘AI 端侧模型模型压缩