計算したい(14)Llama 3.1 70Bモデルとの日本語会話

 ずっと英語でチャットしてきたのだが、だめもとで「日本語シャベレマスカ~?」とたずねてみたら…

 これにはもう、圧倒された。上掲のスクリーンショットでは、実に流暢で的確な日本語を話すところを示す目的で、一部画面を修正して公表を先延ばししたい内容を省略している。ただし、おすすめ論文の著者、タイトル、PMID、DOIのURLについては残念ながらハルシネーションが強い(ので全略。まさかここを読まれて気を悪くされたりすると困るが、どうであろうか)。
 130Bモデルをロード中にハングしてしまうのがなんとかならんかと相談すると、主記憶を128GBに増設するか、GPUアクセラレーションを使うかの2案を勧められる。
 UM890 Proはメモリ64GBが上限と説明すると、どうもGPUメモリの方で64GB増設してほしいような口ぶりである。

本ブログではamazon associate広告を利用しています。