Квантизация LLM: Как запихнуть 70B модель в твою видюху 🫡

Ну чё, малютки, думаете что для запуска LLaMA 3 70B вам нужна серверная стойка за лярд рублей? Поздравляю, вас обманули маркетологи GPU-вендоров. Модели с сотнями миллиардов параметров — LLaMA 3 70B, DeepSeek-V3 с его 671 лярдом параметров — жрут VRAM как не в себя. Но есть способ запихнуть это всё в обычную потребительскую видюху.

Короче, в этом посте я разложу по полочкам: что такое квантизация, как она работает под капотом, какие форматы существуют, почему MoE-модели — это отдельная головная боль, и покажу как всё это гонять на практике с кодом.

---

Что за квантизация и нахуя она нужна?

Смотри, малютки. Каждый параметр модели — это число. По дефолту оно хранится как FP32 (32-битное число с плавающей запятой) — 4 байта на один параметр. Квантизация — это когда мы берём и говорим: «а давай хранить это число не в 32 битах, а в 8 или даже 4». Точность падает, но модель продолжает работать. Магия? Нет, математика.

Сколько памяти это реально экономит?

Малютки, вот вам наглядно — LLaMA 3 70B при разной точности:

Для MoE-моделей типа ДикойПсины (DeepSeek-V3, 671B) квантизация — это вообще вопрос жизни и смерти. Без неё модель жрёт 2600+ ГБ памяти. Кек.

🧮 Калькулятор VRAM

МодельLLaMA 3 8B (8B)Mistral 7B (7B)LLaMA 3 70B (70B)Mixtral 8x7B (MoE) (46.7B)DeepSeek-V3 (MoE) (671B)Qwen3.5-235B (MoE) (235B)

ТочностьFP32 (4 байт/параметр)FP16 / BF16 (2 байт/параметр)INT8 (1 байт/параметр)INT4 (0.5 байт/параметр)

Требуется VRAM:~280.0 ГБ

* Приблизительная оценка: параметры × байт/параметр. Реальное потребление может быть выше из-за KV-cache, активаций и overhead.

---

Как это работает под капотом?

Ладно, малютки, давайте разберёмся что там внутри. Сначала — форматы данных, без них никуда.

Форматы данных: от жирного FP32 до худого INT4

Как именно происходит сжатие

Окей, малютки, теперь самое вкусное. Квантизация — это маппинг диапазона значений из FP32 в более компактный формат. Самый базовый метод — линейная квантизация:

---

PTQ vs QAT: два подхода, две судьбы

---

Форматы квантизации: GPTQ, GGUF, AWQ — что выбрать?

Ладно, малютки, теория — это хорошо, но на практике вам придётся выбирать между конкретными форматами. Вот что есть:

Метод	Основное применение	Плюсы	Минусы
GPTQ	Быстрый инференс на GPU	Высокая скорость, хорошая точность	Плохая поддержка CPU
GGUF	CPU и GPU (гибридный режим)	Отличная поддержка CPU, простота	Может быть медленнее GPTQ на GPU
AWQ	Инференс на GPU	Высокая скорость и точность	Менее распространён

---

MoE-модели: отдельная головная боль 🗑️🔥

Малютки, если вы думали что квантизация dense-моделей — это сложно, то добро пожаловать в мир Mixture of Experts (MoE). Это когда модель содержит кучу специализированных «экспертных» подсетей, но для каждого токена активирует только парочку из них. Звучит эффективно? Ну, есть нюансы.

Как работает эта штука

В каждом слое трансформера вместо одного FFN-блока — набор экспертов и Router (маршрутизатор). Router смотрит на токен и решает: «тебе к эксперту №3 и №7». Top-K экспертов обрабатывают токен, остальные сидят без дела.

Почему квантизация MoE — это боль

Моя шпаргалка по квантизации MoE

Компонент	Точность	Обоснование
Attention	INT8	Умеренная чувствительность
Router / Gating	FP16	Критичен для маршрутизации
Shared Expert	INT8	Всегда активен
Hot Experts	INT8	Частая активация
Cold Experts	INT4	Редкая активация

---

Хватит теории — давай код 🔥

Ну чё, малютки, хватит лекций. Самый простой способ пощупать квантизацию руками — bitsandbytes + transformers от Hugging Face. Три строчки конфига — и модель жмётся в 4 бита.

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig

model_id = "mistralai/Mistral-7B-Instruct-v0.2"

quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_use_double_quant=True,
)

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    quantization_config=quantization_config,
    device_map="auto",
)

prompt = "Расскажи мне короткую историю о роботе, который мечтал стать художником."
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

outputs = model.generate(**inputs, max_new_tokens=150)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Для MoE-моделей — всё то же самое:

model_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    quantization_config=quantization_config,
    device_map="auto",
)
# Без квантизации: ~94 GB VRAM (FP16)
# С INT4 квантизацией: ~24 GB VRAM

Ставим зависимости:

pip install transformers bitsandbytes accelerate

---

Где брать готовые квантизованные модели?

Лень квантизовать самому? Понимаю. Вот где взять готовое:

Как читать названия файлов (чтобы не скачать мусор)

Суффикс	Описание	Рекомендация
Q2_K	2-битная, очень агрессивная	Только для слабого железа
Q4_K_M	4-битная, сбалансированная	Лучший выбор для большинства
Q5_K_M	5-битная, высокое качество	Если есть запас VRAM
Q8_0	8-битная, почти без потерь	Для максимального качества

---

Итого, малютки 🫡

Если честно, квантизация — одна из самых недооценённых тем в ML. Все гонятся за новыми архитектурами и лярдами параметров, а реальный прорыв в доступности LLM — вот он, в умном сжатии весов. Разобрались в форматах, поняли нюансы MoE, знаете где брать готовое — теперь можете гонять модели на своём ноутбуке. Вперёд, малютки.

---

Источники

1. A Visual Guide to Quantization — Maarten Grootendorst
2. Quantization for Large Language Models — DataCamp
3. What new challenges does the MoE architecture introduce for LLM quantization? — Medium
4. Examining Post-Training Quantization for Mixture-of-Experts — arXiv
5. TheBloke on Hugging Face