Smilegate Unsmile AI 사용법

- Smilegate korean_unsmile 데이터 링크 :  https://github.com/smilegate-ai/korean_unsmile_dataset

 

- 링크를 통해 가상환경에서 pip로 torch 설치 (놋북이라 GPU 없으므로 CUDA 없는 버전으로 설치)

pip3 install torch torchvision torchaudio

- transformers 및 기타 라이브러리 설치

pip install transformers
pip install chardet

 

- 아래 코드 테스트

from transformers import TextClassificationPipeline, BertForSequenceClassification, AutoTokenizer
model_name = 'smilegate-ai/kor_unsmile'
model = BertForSequenceClassification.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
pipe = TextClassificationPipeline(
        model = model,
        tokenizer = tokenizer,
        device = -1,   # cpu: -1, gpu: gpu number
        return_all_scores = True,
        function_to_apply = 'sigmoid'
    )

for result in pipe("바보 멍청이 해삼 멍게")[0]:
    print(result)

 

 

- requirements.txt 생성 참고 코드

pip freeze > requirements.txt