git clone https://www.modelscope.cn/qwen/qwen2-7b-instruct.git

qwen2-7b-instruct/
│
├──.gitattributes                     # Git屬性文件，用于配置Git的行為。
│
├── config.json                        # 模型配置文件，包含模型的基本參數(shù)和設(shè)置。
│
├── configuration.json                 # 系統(tǒng)初始化配置文件，定義系統(tǒng)啟動(dòng)時(shí)的配置。
│
├── generation_config.json             # 生成配置文件，包含文本生成時(shí)的參數(shù)設(shè)置。
│
├── LICENSE                            # 許可證文件，說明模型的使用條款和條件。
│
├── merges.txt                         # 詞匯合并文件，通常用于處理子詞分割。
│
├── model-00001-of-00004.safetensors# 模型權(quán)重文件（第1部分），使用Safetensors格式存儲(chǔ)。
├── model-00002-of-00004.safetensors# 模型權(quán)重文件（第2部分），使用Safetensors格式存儲(chǔ)。
├── model-00003-of-00004.safetensors# 模型權(quán)重文件（第3部分），使用Safetensors格式存儲(chǔ)。
├── model-00004-of-00004.safetensors# 模型權(quán)重文件（第4部分），使用Safetensors格式存儲(chǔ)。
│
├── model.safetensors.index.json       # 模型索引文件，包含模型權(quán)重的索引信息。
│
├── README.md                          # 項(xiàng)目說明文件，提供模型的使用說明和相關(guān)信息。
│
├── tokenizer.json                     # 分詞器配置文件，定義分詞器的參數(shù)和設(shè)置。
│
├── tokenizer_config.json              # 分詞器初始化配置文件，包含分詞器的啟動(dòng)配置。
│
└── vocab.json                         # 詞匯表文件，列出模型可識(shí)別的所有詞匯。

workspace/
├── qwen2-7b-instruct/  
├── qwen2測(cè)試.ipynb

# 導(dǎo)入依賴組件
from modelscope importAutoModelForCausalLM
from modelscope importAutoTokenizer

# 判斷設(shè)備
device ="cuda"# the device to load the model onto

# 模型ID，對(duì)應(yīng)git clone的模型文件夾名稱
model_id ="qwen2-7b-instruct"


# 加載模型
model =AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype="auto",
    device_map="auto"
)

# 加載分詞器
tokenizer =AutoTokenizer.from_pretrained(model_id)

# 準(zhǔn)備提示詞
messages =[
{"role":"system","content":"""
            You are a helpful assistant.
            """},
{"role":"user","content":"""
            中華人民共和國的首都是哪里？
    """}
]

# 應(yīng)用聊天模板
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

# 輸入內(nèi)容轉(zhuǎn)ID
model_inputs = tokenizer([text], return_tensors="pt").to(device)

# 模型預(yù)測(cè)
generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=512
)

# 刪除問句信息
generated_ids =[
    output_ids[len(input_ids):]for input_ids, output_ids inzip(model_inputs.input_ids, generated_ids)
]

# 翻譯答案
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

# 輸出結(jié)果
print(response)

# 導(dǎo)入依賴組件
from modelscope import AutoModelForCausalLM
from modelscope import AutoTokenizer

# 判斷設(shè)備
device = "cuda" # the device to load the model onto

# 模型ID，對(duì)應(yīng)git clone的模型文件夾名稱
model_id = "qwen2-7b-instruct"

Qwen2ForCausalLM(
(model):Qwen2Model(
(embed_tokens):Embedding(152064,3584)
(layers):ModuleList(
(0-27):28 x Qwen2DecoderLayer(
(self_attn):Qwen2SdpaAttention(
(q_proj):Linear(in_features=3584, out_features=3584, bias=True)
(k_proj):Linear(in_features=3584, out_features=512, bias=True)
(v_proj):Linear(in_features=3584, out_features=512, bias=True)
(o_proj):Linear(in_features=3584, out_features=3584, bias=False)
(rotary_emb):Qwen2RotaryEmbedding()
)
(mlp):Qwen2MLP(
(gate_proj):Linear(in_features=3584, out_features=18944, bias=False)
(up_proj):Linear(in_features=3584, out_features=18944, bias=False)
(down_proj):Linear(in_features=18944, out_features=3584, bias=False)
(act_fn):SiLU()
)
(input_layernorm):Qwen2RMSNorm()
(post_attention_layernorm):Qwen2RMSNorm()
)
)
(norm):Qwen2RMSNorm()
)
(lm_head):Linear(in_features=3584, out_features=152064, bias=False)
)

Qwen2TokenizerFast(name_or_path='qwen2-7b-instruct', vocab_size=151643,
        model_max_length=131072, is_fast=True, padding_side='right',
        truncation_side='right',
        special_tokens={
'eos_token':'<|im_end|>',
'pad_token':'<|endoftext|>',
'additional_special_tokens':['<|im_start|>','<|im_end|>']},
            clean_up_tokenization_spaces=False),
            added_tokens_decoder={
151643:AddedToken("<|endoftext|>", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),
151644:AddedToken("<|im_start|>", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),
151645:AddedToken("<|im_end|>", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),
}

total_params = sum(p.numel() for p in model.parameters())
print(f"模型參數(shù)總量: {total_params}")

# 運(yùn)行結(jié)果：
# 模型參數(shù)總量: 7615616512

messages = [
    {"role": "system", "content": """
            You are a helpful assistant.
            """},
    {"role": "user", "content": """
            中華人民共和國的首都是哪里？
    """}
]

'<|im_start|>system\n\n   
You are a helpful assistant.\n   
<|im_end|>\n<|im_start|>user\n\n   
中華人民共和國的首都是哪里？\n    
<|im_end|>\n<|im_start|>assistant\n'

# 模型預(yù)測(cè)
generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=512
)

# 刪除問句信息
# generated_ids = [
#     output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
# ]

# 翻譯答案
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=False)[0]

# 輸出結(jié)果
print(response)

<|im_start|>system

            You are a helpful assistant.
            <|im_end|>
<|im_start|>user

            中華人民共和國的首都是哪里？
    <|im_end|>
<|im_start|>assistant
中華人民共和國的首都是北京。<|im_end|>

pip install streamlit

git clone https://www.modelscope.cn/qwen/Qwen2-0.5B-Instruct.git

import streamlit as st
from modelscope importAutoModelForCausalLM,AutoTokenizer
import torch

# 判斷設(shè)備
device ="cuda"if torch.cuda.is_available()else"cpu"

# 模型ID
model_id ="Qwen2-0.5B-Instruct"

# 加載模型
model =AutoModelForCausalLM.from_pretrained(model_id).to(device)

tokenizer =AutoTokenizer.from_pretrained(model_id)

# Streamlit 頁面標(biāo)題
st.title("聊天助手")

# 輸入系統(tǒng)內(nèi)容
system_content = st.text_area("輸入系統(tǒng)內(nèi)容","You are a helpful assistant.")

# 輸入用戶內(nèi)容
user_content = st.text_area("輸入用戶內(nèi)容","中華人民共和國的首都是哪里？")

# 提交按鈕
if st.button("獲取回答"):
# 準(zhǔn)備提示詞
    messages =[
{"role":"system","content": system_content},
{"role":"user","content": user_content}
]

# 應(yīng)用聊天模板
    text = tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
)

# 輸入內(nèi)容轉(zhuǎn)ID
    model_inputs = tokenizer([text], return_tensors="pt").to(device)

# 模型預(yù)測(cè)
    generated_ids = model.generate(
        model_inputs.input_ids,
        max_new_tokens=512
)

# 刪除問句信息
    generated_ids =[
        output_ids[len(input_ids):]for input_ids, output_ids inzip(model_inputs.input_ids, generated_ids)
]

# 翻譯答案
    response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

# 輸出結(jié)果
    st.subheader("模型回答")
    st.write(response)

streamlit run app.py