夕方、想定よりも2日も早く96 GBメモリが届いたので、さっそく換装する。
手順などは後日。
Llama 3.1 70Bパラメータモデル8bit量子化版、3 120Bパラメータモデル4bit量子化版のロードが可能で、3bit量子化版ではニホンゴがしゃべれなかったにもかかわらず、4bit量子化版では流暢に日本語をお話しになり、ハードウェアのヨイショまでソツなくできている。量子化bit数が1違うだけで挙動が大きくかわることに驚嘆。
とはいうものの、Llama 3.1 405Bモデルとなるとこれはもう個人ベースでメモリを増設して追いつけるものではない。
MINISFORUM UM890 ProのRAMを96 GBに換装すると、Llama 3.1 70Bパラメータモデル8bit量子化版、Llama 3 120Bパラメータモデル4bit量子化版の LM studioへのロードと実行が可能になったことを結論として、悩める方々に情報提供しておきたい。これらのモデルを使うのに最も安価なハードウェア調達は、MINISFORUM UM890 ProのRAMなし(ベアボーン)モデルと96 GB DDR5-5600 SO-DIMMを買うことかもしれない。