huggingface官網(wǎng)地址：https://huggingface.co/models 需科學(xué)上網(wǎng)

import torch
from torch import nn
# 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 當作例子沒有具體實現(xiàn)
class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        pass


    def forward(self, x):
        return x


# 創(chuàng)建一個模型對象
model = MyModel()


# 第一種保存模型的方式
torch.save(model, "my_model.pth")


# 第二種保存模型的方式 使用dict字段保存參數(shù)
torch.save(model.state_dict(), "dict_my_model.pth")

import torch
from torch import nn
# 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 當作例子沒有具體實現(xiàn)
class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        pass


    def forward(self, x):
        return x


# 創(chuàng)建一個模型對象
model = MyModel()


# 第一種保存模型的方式
torch.save(model, "my_model.pth")


# 第二種保存模型的方式 使用dict字段保存參數(shù)
torch.save(model.state_dict(), "dict_my_model.pth")


# 第一種加載模型的方式 有了這個之后就不需要使用 model = MyModule()創(chuàng)建模型了
load_model = torch.load("my_model.pth")
print(load_model)




# 第二種加載方式 這里只會加載模型的參數(shù)
dict_load = torch.load("dict_my_model.pth")
print(dict_load)


#  因此，需要先創(chuàng)建模型，再從字典中加載參數(shù)
dict_model = MyModel()
dict_model.load_state_dict(torch.load("dict_my_model.pth"))
print("------------------")
print(dict_model)

from transformers import AutoTokenizer, AutoModelForCausalLM


# 大模型名詞
model_id = "shenzhi-wang/Llama3-8B-Chinese-Chat"


# 加載分詞器 在自然語言處理中，需要對文字進行分詞 并轉(zhuǎn)換為神經(jīng)網(wǎng)絡(luò)能夠識別的向量格式
tokenizer = AutoTokenizer.from_pretrained(model_id)


# 加載大模型
model = AutoModelForCausalLM.from_pretrained(
    model_id, torch_dtype="auto", device_map="auto"
)






"""


 用戶使用，按照大模型提供的輸入案例來操作
"""
messages = [
    {"role": "system", "content": "You are Llama3-8B-Chinese-Chat, which is finetuned on Llama3-8B-Instruct with Chinese-English mixed data by the ORPO alignment algorithm. You, Llama3-8B-Chinese-Chat, is developed by Shenzhi Wang (王慎執(zhí) in Chinese). You are a helpful assistant."},
    {"role": "user", "content": "介紹一下你自己"},
]


# 數(shù)據(jù)預(yù)處理
input_ids = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, return_tensors="pt"
).to(model.device)


# 大模型只能識別向量格式的數(shù)據(jù)，所以在開始之前需要對數(shù)據(jù)進行預(yù)處理
outputs = model.generate(
    input_ids,
    max_new_tokens=1024,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)


# 獲取結(jié)果
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))

import torch
from torch import nn
# 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 當作例子沒有具體實現(xiàn)
class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        pass

    def forward(self, x):
        return x

# 創(chuàng)建一個模型對象
model = MyModel()

# 第一種保存模型的方式
torch.save(model, "my_model.pth")

# 第二種保存模型的方式 使用dict字段保存參數(shù)
torch.save(model.state_dict(), "dict_my_model.pth")

# 第一種加載模型的方式 有了這個之后就不需要使用 model = MyModule()創(chuàng)建模型了
load_model = torch.load("my_model.pth")
print(load_model)


# 第二種加載方式 這里只會加載模型的參數(shù)
dict_load = torch.load("dict_my_model.pth")
print(dict_load)

#  因此，需要先創(chuàng)建模型，再從字典中加載參數(shù)
dict_model = MyModel()
dict_model.load_state_dict(torch.load("dict_my_model.pth"))
print("------------------")
print(dict_model)

""" 數(shù)據(jù)預(yù)處理 """
def process_prefix(param):
    # params是輸入?yún)?shù)，自然語言處理中就是字符串，計算機視覺處理中就是圖片或視頻
    # 把參數(shù)轉(zhuǎn)換為張量/向量
    inputs = torch.Tensor(param)
    """
        當然，這里只是簡單舉個例子，實際的預(yù)處理要比這復(fù)雜的多，不但要實現(xiàn)功能，還有保證接口的可擴展性，以及上層功能的調(diào)用
    """
    return inputs

# 把用戶輸入轉(zhuǎn)化為向量后 輸入到模型中
resp = dict_model(process_prefix(""))

def process_post(resp):
    """
        這里主要對模型的輸出進行處理，不同的模型輸出數(shù)據(jù)格式不一，所以為了使用的方便，需要對模型輸出進行處理
    """