llm/ollama\343\201\247llm-jp-3\343\202\222\345\213\225\343\201\213\343\201\231.md
... ...
@@ -0,0 +1,55 @@
1
+1. `safetensor`形式から`gguf`形式に変換する。
2
+
3
+ <https://note.com/npaka/n/n3e99d2a45a4b>
4
+
5
+
6
+1. `Modelfile`を以下の内容で作成する。
7
+
8
+ <https://github.com/ollama/ollama/blob/main/docs/modelfile.md>と<https://huggingface.co/llm-jp/llm-jp-3-13b-instruct/blob/main/tokenizer_config.json>を元にChatGPT o1に作らせた。
9
+
10
+ ```
11
+ FROM ./llm-jp-3-13b-instruct.gguf
12
+
13
+ # 推論時のパラメータを調整
14
+ PARAMETER num_ctx 4096
15
+ PARAMETER temperature 1
16
+ PARAMETER top_k 40
17
+ PARAMETER top_p 0.9
18
+
19
+ # システムメッセージを設定（任意の役割やトーンを指定可能）
20
+ SYSTEM """あなたは日本語で質問に答えるアシスタントです。文体は丁寧かつ簡潔にしてください。"""
21
+
22
+ # テンプレート例
23
+ # - .System : 上記の SYSTEM メッセージが入る
24
+ # - .Prompt : ユーザが入力したプロンプトが入る
25
+ # - .Response : モデルが生成する出力が入る
26
+ TEMPLATE """{{ if .System }}以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。
27
+
28
+ {{ .System }}
29
+ {{ end }}
30
+
31
+ {{ if .Prompt }}### 指示:
32
+ {{ .Prompt }}
33
+ {{ end }}
34
+
35
+ ### 応答:
36
+ {{ .Response }}"""
37
+
38
+
39
+ # 追加で会話の履歴を与えたい場合は MESSAGE を使う
40
+ # MESSAGE user "こんにちは、調子はいかがですか？"
41
+ # MESSAGE assistant "はい、快適に動作しています。何をお手伝いできますか？"
42
+
43
+ ```
44
+
45
+1. ollamaでモデルを構築する
46
+
47
+ ```
48
+ $ ollama create llm-jp-3-13b-instruct -f .\Modelfile
49
+ ```
50
+
51
+1. ollamaで実行する。
52
+
53
+ ```
54
+ $ ollama run llm-jp-3-13b-instruct
55
+ ```
... ...
\ No newline at end of file