格安でフルサイズLLM実行マシンを手に入れる

まだ考え中…

• モデルの全てをRAMに載せる必要がある。
• LLMの推論速度はメモリ帯域に影響を受ける。
• DDR4 ECCメモリが結構安い。
  • 128GBで15000 ~ 20000くらい
• HP Z8 G4
  • 24 DIMMスロット、DDR4 Registered ECC 2933 MHz
    • 32GBモジュールで埋めれば768GBになる。
    • 大抵のモデルを動かすことは出来る。
  • 帯域 = 2933 × 8 × 12 ÷ 1000 = 281.57 GB/s（理論値）
  • これはApple M1 Proのメモリスピードより少し早く、M1 Maxよりも遅い。
    • M1 Pro: 204.8 GB/s
    • M1 Max: 409.6 GB/s
    • https://en.wikipedia.org/wiki/Apple_M1
  • 似たような構成では、DeepSeekV2.5 Q8で2 token/s程度が出るらしい。
    • Running LLMs on Dual Xeon E5-2699 v4 (22T/44C) (no GPU, yet) : r/LocalLLaMA
  • Qwen3
    • Qwen3-235B Q6_K ktransformers at 56t/s prefill 4.5t/s decode on Xeon 3175X (384GB DDR4-3400) and RTX 4090 : r/LocalLLaMA
  • ヤフオクで本体が大体10 ~ 15万位で購入でき、メモリで2万×6=12万、合わせて25万くらい？