先週末某大学のニセ学生になりすましてモグリ聴講したAIセミナーに大いに刺激を受けて、M1 Mac miniにLLaMA 2ダウンロードを試みる。
metaにダウンロードの許諾申請を行ったら、いきなりダウンロード先のURLのお知らせメールが届いた。これは24時間内に5回再試行のできるリンクとなっているので、気忙しい。
macOSとxcode-selectをクリーンにインストールした状態で「ターミナル」を起動し、githubからダウンロードしたdownload.shを実行するが、「wgetとmd5sumとにたずねあたりません」エラーで、ダウンロードにいたらず。
brewをインストールして、wgetとmd5sha1sumとを追加インストールしたところで再度download.shを実行して、プロンプト
Enter the list of models to download without spaces (7B,13B,70B,7B-chat,13B-chat,70B-chat), or press Enter for all:
にはEnterを押して全部盛りダウンロードを選択。上記リストの順にモデルのダウンロードが進行するのをウトウトしながら監視。
それぞれのモデルにおいて、最も嵩の大きいのがパラメーターファイルで、それぞれ12～16 GBに分割されていて
7Bおよび7B-chatではconsolidated.00.pth (12 GBファイル✕1)
13Bおよび13B-chatではconsolidated.00.pth～consolidated.01.pth (12GBファイル✕2)
70Bではconsolidated.00.pth～consolidated.07.pth (16GBファイル✕7)
となっている。
脊振周治院のネットワーク環境ではこれらのファイル1本を10分ずつくらいかけてダウンロードしていくので、これを見るともなく見ながらウトウトしていたら、13B-chatの途中で256 GB SSD空き容量を使い切ってスクリプトがアボートしてしまったので、やむをえず、70Bパラメーター用のファイルを消去して13B-chatモデルをダウンロードしておくこととした。
chatGPT-3.5や4の水準に比肩する性能と巷で評判になっている70B-chatを土台にファインチューニングを試みたいのに、持ち運びできない点とディスク容量が限られる点で難しいことを思い知らされ、Mac StudioやMacbook Airなどが気になりはじめる。
