備忘録
備忘録 is ローカルLLMの必要VRAMを「GGUF実サイズ＋KVキャッシュ＋オーバーヘッド」に分解し、Qwen2.5の3B〜72Bで計算。Q4_K_Mの実効ビット数は4.0ではなく約4.9。同じPCで7Bと14Bを回した実測105件では生成速度に22.5倍の差が出た。. It is ranked #9717 on the AI Radar, in Open & local models, first seen 37 days ago and shared in 2 posts (27 views).
VRAM 8GBで動くのは7Bまで、14B Q4_K_Mには10.4GB必要｜公式GGUFサイズとKVキャッシュから計算し、実測で22.5倍の速度差が出た | 備忘録 コンテンツへスキップ EA検証と自宅AIサーバーを計算と実測で確かめる 備忘録 VRAM 8GBで動くのは7Bまで、14B Q4_K_Mには10.4GB必要｜公式GGUFサイズとKVキャッシュから計算し、実測で22.5倍の速度差が出た 構築ログ ローカルLLMの必要VRAMを「GGUF実サイズ＋KVキャッシュ＋オーバーヘッド」に分解し、Qwen2.5の3B〜72Bで計算。Q4_K_Mの実効ビット数は4.0ではなく約4.9。同じPCで7Bと14Bを回した実測105件では生成速度に22.5倍の差が出た。 X Facebook はてブ LINE Pinterest コピー 2026.09.30 本記事には広告(アフィリエイトリンク)を含みます。 「7Bなら8GBで動く」「14Bは12GB必要」──ローカルLLMの必要VRAMは、こういう丸めた言い方で語られがちです。ですが実際に手元のPCで動かすと、 載るはずのモデルが載らない 、あるいは 載っているのに異常に遅い ということが起きます。 この記事では、必要VRAMを 「重み＋KVキャッシュ＋実行時オーバーヘッド」の3つの足し算 として分解し、Qwen2.5シリーズ（3B/7B/14B/32B/72B）について1つずつ数字を出しました。使ったのは Hugging…
Alternatives to 備忘録
- kimi-k3.1-pro — Releasing the model weights of Kimi K3.1 Pro
- unsloth.ai — Guide to running Mistral Large 4 GGUFs locally with Unsloth and llama.cpp.
- niklaslenz.com — Play the world in your browser. Every number, the exact command and the raw output
- qwen3.8-flash-next-gguf — Image-Text-to-Text model with 177B parameters. Download, explore files and run it on Hugging Face.
- project-maya — Plus a round of fixes, UI improvements and community PRs.
- twil-8b — Text Generation model with 9B parameters. Download, explore files and run it on Hugging Face.
備忘録 in numbers
- Rank on the AI Radar: #9717 of 10412
- Shared in 2 posts by 1 account: @latte_fxpy
- 27 views on those posts
- First seen 37 days ago, last shared 34 days ago
- Pricing seen by AGK Intelligence: free
- Market: Open & local models
FAQ
What is 備忘録?
ローカルLLMの必要VRAMを「GGUF実サイズ＋KVキャッシュ＋オーバーヘッド」に分解し、Qwen2.5の3B〜72Bで計算。Q4_K_Mの実効ビット数は4.0ではなく約4.9。同じPCで7Bと14Bを回した実測105件では生成速度に22.5倍の差が出た。 It was first shared on X 37 days ago and is ranked #9717 on the AI Radar.
Is 備忘録 free?
Yes, it is free to use.
Who shared 備忘録?
1 account on X, including @latte_fxpy, in 2 posts totalling 27 views.
Every post is read and classified by AGK Intelligence: what it is, which market it belongs to, and whether the link is a real tool. 65.5k posts from 5k X accounts over the last 14 days, 10.4k tools, 19 markets. New posts are collected several times an hour and the full ranking is recomputed every hour — last update 2026-11-06 16:50 UTC. Full method.