LLM / CPU research

Mout CPU Research

GitHub

Хорошая гипотеза должна пройти все три проверки.

РольResearch & engineering

СтатусResearch v1 завершён · frozen archive

СтекC++ / AVX2 / GGML / llama.cpp / Quantization / Benchmarking

A4
G128

93.5212%Q4 gap closed · 4.1250 ATTENTION_Q BPW

Runtime: 42.83% / 43.85% от Q4 (n128 / n1024). Production winner: none.

Архитектурная композиция — не скриншот продукта

01 / Задача и решение

Измерять. Проверять. Решать.

Исследование low-bit CPU inference: качество, размер модели и AVX2 runtime оценивались как единое решение, а не отдельные красивые метрики.

A4-G128-SYM показал лучший протестированный quality/size результат. Но AVX2 runtime не прошёл совместный production target. Research v1 завершён: Q4 остаётся production reference, custom format winner отсутствует.

02 / Устройство системы

Representation

Low-bit форматы и quantization

Parity

Scalar / packed / AVX2 verification

Decision gate

Quality + size + runtime

03 / Границы и доказательства

Что подтверждено.

Результат исследования

Q4 остался production reference; custom format production winner: none.
A4-G128-SYM: 93.5212% Q4 gap closed, 4.1250 ATTENTION_Q BPW.
Runtime mismatch: 42.83% / 43.85% Q4-relative throughput — результат исследования, не production win.

Основание для выводов

Frozen reports, source snapshots, parity utilities, manifests и raw logs в архиве.

Exact final decision table сохраняет quality/size/runtime контекст.

Research v1 / final report

Следующая работаIG-Code CNC