概要
ローカルLLMの構築では、GPU 性能に加え、CPU の命令セット、特に AVX-512 の対応状況が CPU 推論や前処理のスループットに影響します。DigitalBaseでは、社内AI基盤の構築に向けて多数のCPUを評価しています。ここ数世代の Intel と AMD では AVX-512 への対応方針が大きく異なるため、CPU 選定時に確認が必要です。
CPU 推論を利用する社内環境に向けて、AVX-512 の基本、AMD の対応状況、サーバー・ワークステーション向け CPU の選択肢と対応確認の手順を整理します。
AVX-512の概要とLLMにおける重要性
AVX-512の基本
AVX-512（Advanced Vector Extensions 512）は、512ビット幅の SIMD 命令セットです。
- 従来の AVX2：256ビット幅
- AVX-512：512ビット幅（2倍）
一度に処理できるデータ量が理論上2倍になるため、行列演算が中心となる LLM 推論で高速化が期待できます。
AMDのAVX-512対応状況
Zen 4以降で正式対応
AMD は Zen 4 アーキテクチャ（2022年発売）から AVX-512 を正式にサポートしています。
- Ryzen 7000シリーズ（Zen 4、デスクトップ）
- Ryzen 9 7950X / 7900X
- Ryzen 7 7700X
- Ryzen 5 7600X
- Ryzen 9000シリーズ（Zen 5、2024年〜）
- Ryzen 9 9950X / 9900X
- Ryzen 7 9700X
- Ryzen 5 9600X
- EPYC 9004 / 9005シリーズ（サーバー向け）
- EPYC 9654、EPYC 9755 など
AMDのAVX-512実装の特徴
- 全コアで対応：P-core / E-core の区別がない
- ダブルポンプ方式（Zen 4）：物理的には256ビット幅の演算器を用い、2サイクルで512ビット幅を処理。Zen 5 ではネイティブ512ビットのデータパスを備えるモデルもあり、実効性能が向上しています。
- 電力効率：Intel の初期実装に比べ、AVX-512 利用時の発熱・クロック低下が抑えられています。
Zen 4 以降で対応が続いている点も、業務利用における評価要素です。
サーバー・ワークステーション向けの選択肢
Xeon Wシリーズ
ECC メモリと大容量メモリ、長時間の安定動作を重視する場合、AVX-512 対応の Xeon W が候補になります。
- Xeon W-1300シリーズ（第11世代ベース）
- Xeon W-2400 / W-3400シリーズ（Sapphire Rapids）
ECC メモリ対応によるデータ信頼性、最大数百GB〜TB級のメモリ搭載、長時間運用での安定性が利点です。一方で価格が高く、クロック周波数が低めで、対応マザーボードも高価という点には留意が必要です。
EPYC（サーバー向けAMD）
最大コア数とメモリ帯域を重視する大規模用途では、EPYC 9004 / 9005 シリーズが選択肢になります。多コア・AVX-512 対応・広いメモリ帯域を備え、CPU 推論や大量の前処理を並列処理する構成に向きます。
実践：AVX-512の有効化確認と最適化
llama.cppでの確認
# AVX-512が使用されているか確認 ./llama-cli --version # 出力例（AVX-512対応時） AVX = 1 | AVX2 = 1 | AVX512 = 1 | AVX512_VBMI = 1 | AVX512_VNNI = 1
AVX512_VNNI が有効であれば、INT8 演算がハードウェア支援を受けられます。
Ollamaでの確認
Ollama は AVX-512 を自動検出して利用しますが、起動ログで対応状況を確認できます。
# サーバーを起動し、ログに "AVX512" が表示されればOK ollama serve
量子化形式の選択
AVX-512 環境、特に VNNI 対応の構成では INT8 量子化（Q8_0） が高い実効性能を発揮します。
# Q8_0（INT8量子化）モデルの利用例 ollama run llama3.1:8b-instruct-q8_0
Q4 / Q5 と比べて精度低下が小さく、AVX-512 / VNNI の恩恵を受けやすい組み合わせです。精度を重視する社内ナレッジ検索や RAG の回答生成では、Q8_0 を基準に評価することを推奨します。
OS上での確認コマンド
# Linux：AVX-512対応確認 lscpu | grep avx512 cat /proc/cpuinfo | grep avx512
# Windows（PowerShell）：プロセッサ情報の確認 Get-CimInstance Win32_Processor | Select-Object Name, Description
より詳細な確認には CPU-Z や HWiNFO などのツールが有用です。
要点
ローカルLLMを CPU 推論や前処理を含めて運用する場合、AVX-512 の対応状況は CPU 選定における重要な判断軸です。ECC が必須の環境では Xeon W / EPYC が候補です。安定したローカルAI基盤の構築には、ハードウェアの世代やコア数に加え、命令セットの対応状況を評価する必要があります。