llm/ollama\343\201\247llm-jp-3\343\202\222\345\213\225\343\201\213\343\201\231.md
... ...
@@ -1,6 +1,49 @@
1 1
1. `safetensor`形式から`gguf`形式に変換する。
2 2
3
- <https://note.com/npaka/n/n3e99d2a45a4b>
3
+ 参考: <https://note.com/npaka/n/n3e99d2a45a4b>
4
+
5
+ 1. Hugging Faceからモデルをクローンする。
6
+
7
+ ```
8
+ $ cd
9
+ $ git clone https://huggingface.co/llm-jp/llm-jp-3-13b-instruct
10
+ ```
11
+
12
+ モデルが大きいので、待ってる間に以下を進める。
13
+
14
+ 1. `llama.cpp`のセットアップ
15
+
16
+ 1. レポジトリをクローンする。
17
+
18
+ ```
19
+ $ cd
20
+ $ git clone https://github.com/ggerganov/llama.cpp.git
21
+ $ cd llama.cpp
22
+ ```
23
+
24
+ 1. Python 3.10のセットアップ
25
+
26
+ ```
27
+ $ mise use [email protected]
28
+ ```
29
+
30
+ 1. venvの構築
31
+
32
+ ```
33
+ $ python3 -m venv .venv
34
+ ```
35
+
36
+ 1. 必要なパッケージのインストール
37
+
38
+ ```
39
+ $ pip install -r requirements.txt
40
+ ```
41
+
42
+ 1. モデルをsafetensor形式からgguf形式に変換する。
43
+
44
+ ```
45
+ $ python3 convert_hf_to_gguf.py ~/llm-jp-3-13b-instruct/ --outfile llm-jp-3-172b-instruct3.gguf
46
+ ```
4 47
5 48
6 49
1. `Modelfile`を以下の内容で作成する。