llm/ollama\343\201\247llm-jp-3 (llm-jp-3-13b-instruct)\343\202\222\345\213\225\343\201\213\343\201\231.md
... ...
@@ -1,4 +1,3 @@
1
-
2 1
1. `safetensor`形式から`gguf`形式に変換する。
3 2
4 3
参考: <https://note.com/npaka/n/n3e99d2a45a4b>
... ...
@@ -41,7 +40,14 @@
41 40
```
42 41
$ pip install -r requirements.txt
43 42
```
43
+ 1. `tokenizer.model`をコピーする。
44 44
45
+ ```
46
+ $ cd
47
+ $ git clone https://github.com/llm-jp/llm-jp-tokenizer.git
48
+ $ cp ~/llm-jp-tokenizer/models/ver3.0/llm-jp-tokenizer-100k.ver3.0b1.model ~/llm-jp-3-13b-instruct/tokenizer.model
49
+
50
+ ```
45 51
1. モデルをsafetensor形式からgguf形式に変換する。
46 52
47 53
```