☰

Created 格安でフルサイズLLM実行マシンを手に入れる (markdown)

takanotume24 committed 2025-04-04 02:40:16 +0000 commit df45288acb72f4e32e60247d0269df8ff78a6f53

				llm/\346\240\274\345\256\211\343\201\247\343\203\225\343\203\253\343\202\265\343\202\244\343\202\272LLM\345\256\237\350\241\214\343\203\236\343\202\267\343\203\263\343\202\222\346\211\213\343\201\253\345\205\245\343\202\214\343\202\213.md
			
          @@ -0,0 +1,18 @@

          +まだ考え中…

          +

          +- モデルの全てをRAMに載せる必要がある。

          +- LLMの推論速度はメモリ帯域に影響を受ける。

          +- DDR4 ECCメモリが結構安い。

          +  - 128GBで15000 ~ 20000くらい

          +- HP Z8 G4

          +  - 24 DIMMスロット、DDR4 Registered ECC 2933 MHz

          +    - 32GBモジュールで埋めれば768GBになる。

          +    - 大抵のモデルを動かすことは出来る。

          +  - 帯域 = 2933 × 8 × 12 ÷ 1000 = 281.57 GB/s（理論値）

          +  - これはApple M1 Proのメモリスピードより少し早く、M1 Maxよりも遅い。

          +    - M1 Pro: 204.8 GB/s

          +    - M1 Max: 409.6 GB/s

          +    - <https://en.wikipedia.org/wiki/Apple_M1>

          +  - 似たような構成では、DeepSeekV2.5 Q8で2 token/s程度が出るらしい。

          +    - <https://www.reddit.com/r/LocalLLaMA/comments/1hf80e4/comment/m2blpew/> 

          +  - ヤフオクで本体が大体10 ~ 15万位で購入でき、メモリで2万×6=12万、合わせて25万くらい？ 

          \ No newline at end of file

...	...	@@ -0,0 +1,18 @@
	1	+まだ考え中…
	2	+
	3	+- モデルの全てをRAMに載せる必要がある。
	4	+- LLMの推論速度はメモリ帯域に影響を受ける。
	5	+- DDR4 ECCメモリが結構安い。
	6	+ - 128GBで15000 ~ 20000くらい
	7	+- HP Z8 G4
	8	+ - 24 DIMMスロット、DDR4 Registered ECC 2933 MHz
	9	+ - 32GBモジュールで埋めれば768GBになる。
	10	+ - 大抵のモデルを動かすことは出来る。
	11	+ - 帯域 = 2933 × 8 × 12 ÷ 1000 = 281.57 GB/s（理論値）
	12	+ - これはApple M1 Proのメモリスピードより少し早く、M1 Maxよりも遅い。
	13	+ - M1 Pro: 204.8 GB/s
	14	+ - M1 Max: 409.6 GB/s
	15	+ - <https://en.wikipedia.org/wiki/Apple_M1>
	16	+ - 似たような構成では、DeepSeekV2.5 Q8で2 token/s程度が出るらしい。
	17	+ - <https://www.reddit.com/r/LocalLLaMA/comments/1hf80e4/comment/m2blpew/>
	18	+ - ヤフオクで本体が大体10 ~ 15万位で購入でき、メモリで2万×6=12万、合わせて25万くらい？
...	...	\ No newline at end of file