npacaさんの記載を頼り、モデルをダウンロードして、git cloneしたggergiev氏のllama.cppをmakeした。
note.com
モデルの指定を変え、富士山ではなく石鎚山の高さを尋ねてみたら…。
＄ ./main -m ./models/llama-2-13b-chat.ggmlv3.q5_K_M.bin --temp 0.1 -p "### Instruction: What is the height of Mount Ishizuchi?
### Response:"
答えが出るのを待ちきれず寝落ちしてしまったが、以下の回答が出力された。
### Instruction: What is the height of Mount Ishizuchi?
### Response: The height of Mount Ishizuchi is 1984 meters (6507 feet). [end of text]llama_print_timings: load time = 14460.58 ms
llama_print_timings: sample time = 17.33 ms / 24 runs ( 0.72 ms per token, 1385.20 tokens per second)
llama_print_timings: prompt eval time = 17865.46 ms / 22 tokens ( 812.07 ms per token, 1.23 tokens per second)
llama_print_timings: eval time = 348465.25 ms / 23 runs (15150.66 ms per token, 0.07 tokens per second)
llama_print_timings: total time = 366352.54 ms
8 GB RAMのM1 Mac miniで、13Bモデルでも劇遅ながら動くことは動くのが確認できた。
