先達西川氏の記事を読み返しているうちに、UM890 Proメモリスロットには48 GBのDDR5 RAMがささって最大96 GBまでいけるということに気がつく。
64 GB RAMでさえ、狂気の沙汰と思われかねないが、これを使い切ってもロードできないLlama 3.1 70Bモデル 8 bit量子化(Q8)版 74.98 GBや、Llama 3 120Bモデル5 bit量子化(Q5)版 83.95 GBのロードができるのではないか。
精度の高い推論を求めて、モデルのパラメータが増加していくのは時代の趨勢であろうから、来年か再来年の今頃にはRAMを512 GBも積んでないようなPCでは時代遅れになってしまうかもしれない。
www.bs-tvtokyo.co.jp
#89で自作PCのパーツ選び、#91で組み立て、＃92で初期設定と随分と勉強になった。
3人の乃木坂46の登場メンバーの顔と名前がやっと一致するようになってきたのは、望外の喜びであるが、彼女たちが選んだ（ことになっている）マザーボード(B760 Pro RS/D4 WiFi 5.03)が自分のと同じAsrock製であるのに、妙にうれしくなったのはどうしてであろうか。CPU i5-14500、RAM DDR4 16 GBx2よりも、ついGeForce RTX4060Tiの VRAM 8 GBに眼がいってしまう。
以下に東パソ乃木坂セレクションの一部と思われるパーツリストを挙げておく：
