Llama 3.1 405Bモデルで、なるだけサイズが小さいThomas BaruzierさんのIQ1_S版を見つけて、UM 890 ProのLM studioにロードを試みるがうまくいかず。
LM studioによると本モデルのロードに必要なGPUメモリは13.86 GB、これに対してRyzenの内蔵GPU(Radeon 780M)の使えるメモリが13.1 GBで、どうもあと数百MB不足しているためにロードできないように見える。
RAMは上限いっぱい(96 GB)まで増設しているので、OCulinkで増設するGPUに13.86 GB以上のメモリを積んでおけばロードできるに違いないと考えた。
Amazon.co.jpで調べてみると、二万円台で買えるのに24 GBも DDR5 RAM載っているグラフィックアクセラレータカード(NVidia Tesla K80)が見つかった。いまどきのGPUでVRAM 16 GBのものが十万未満六万円以上するなかで、ずいぶん安い。うまくいかなくてもともとと買う気満々でLlama 3.1 70B Q8版に相談してみると、しきりにやめておいたほうがよいと忠告してくる。
それでも諦めきれずネットでの評判を調べてみると、12GB RAMののったアクセラレータカード2枚の構成なので、単なる12 GB VRAMのGPUカードとしてしか認識されられないと、405Bモデルのロードの役に立たないことがうすうすわかってきた。
405Bモデルロードへの道は遠い。
