Linux その285 - AMD ROCm vs RADV Vulkan 対決・llama.cpp（LLM）のパフォーマンス比較

AMD ROCm vs RADV Vulkan

Phoronix で AMD ROCm と RADV Vulkan 使用時の LLM のパフォーマンスが比較されています。

• AMD ROCm 7.1 vs. RADV Vulkan For Llama.cpp With The Radeon AI PRO R9700

AMD ROCm

AMD ROCm は AMD GPU で GPU プログラミングを行うためのソフトウェアスタックです。

• AMD ROCm Software

名称の通り AMD が主体的に開発しているソフトウェアスタックであり、NVIDIA でいうところの NVIDIA CUDA に相当するソフトウェアスタックです。
ちなみに ROCm は MIT ライセンスで開発されています。

RADV

RADV（Radeon Vulkan Driver） は、AMD GCN/RDNA GPU 向けの Vulkan ドライバーです。
このドライバーにより Vulkan API を利用できるようになっています。

• RADV

llama.cpp

llama.cpp は LLM で使用されるソフトウェアです。

• llama.cpp

llama.cpp は複数のバックエンドに対応しており、その中の一つに Vulkan が含まれています。

• Supported backends

テスト環境

テスト環境は以下の通りです。


その他 Mesa などテスト環境の詳細は、リンク先を参照してください。

ベンチマーク結果

ベンチマーク結果では、各モデル及びテキスト生成処理とプロンプト処理のベンチマークが作成されています。

• Qwen3 8B 
• GPT-OSS 20B 
• Llama 3.1 8B
• Mistral
• DeepSeek-R1
• Granite 3.0 3B 

モデルによって ROCm 及び RADV の優位性が異なります。
例えば Qwen3 8B のプロンプト処理では ROCm が優位ですが、テキスト処理では RADV の方が良好なパフォーマンスを示しています。
また GPT-OSS 20B やGranite 3.0 3Bでは、RADV が全体的に良好なパフォーマンスを示しています。
モデルやパラメーターに寄るとは言え、Vulkan も選択肢に入ってくるのではないでしょうか。