[AI] Llama-3-KoEn-8B-Instruct-preview 모델 사용 경험

anpigon (70)in #blog • 2 months ago

Model: https://huggingface.co/beomi/Llama-3-KoEn-8B-Instruct-preview
GGUF: https://huggingface.co/teddylee777/Llama-3-KoEn-8B-Instruct-preview-gguf
Ollama Modelfile: https://github.com/cute2bear/OllamaCustomModelfiles/blob/main/Llama-3-KoEn-8B-Instruct-preview-Q8_0.modelfile

Template

LM Studio

<|start_header_id|>system<|end_header_id|>

{System}<|eot_id|>
<|start_header_id|>user<|end_header_id|>

{User}
<|eot_id|><|start_header_id|>assistant<|end_header_id|>

{Assistant}

Stop Token

<|eot_id|>
<|start_header_id|>
<|end_header_id|>
<|begin_of_text|>
<|end_of_text|>

Ollama

FROM Llama-3-KoEn-8B-Instruct-preview-Q8_0.gguf

SYSTEM """친절한 챗봇으로서 상대방의 요청에 최대한 자세하고 친절하게 답하자. 모든 대답은 한국어(Korean)으로 대답해줘."""

TEMPLATE "{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"

PARAMETER num_keep 24
PARAMETER stop <|start_header_id|>
PARAMETER stop <|end_header_id|>
PARAMETER stop <|eot_id|>

테스트

번역 테스트

아래는 다른 번역기 비교해보기 위해 DeepL로 번역해봤습니다.

끝없이 이어지는 개발 작업을 모두 처리하기에는 하루 시간이 부족하다고 생각한 적이 있나요? 여러분은 혼자가 아닙니다.

완벽한 픽셀 디자인 제작부터 고급 백엔드 로직 관리까지, 웹 개발에는 시간이 많이 걸리는 과제가 많습니다.

걱정하지 마세요, 동료 개발자 여러분! 이 게시물은 워크플로우를 개선하고 중요한 작업, 즉 훌륭한 콘텐츠를 만드는 데 필요한 시간을 절약하는 데 도움이 되는 강력한 웹사이트의 보물창고를 제공합니다.

👉 DeepL과 비교해 볼 때, 'Llama-3-KoEn-8B-Instruct-preview' 번역 결과는 어휘 선택에 다소 아쉬움이 있고 직역의 경향이 있으나, 문장을 이해하는 데는 큰 어려움이 없습니다. 8B와 같은 상대적으로 작은 모델임에도 번역 성능이 매우 우수하여 놀라울 정도입니다.

요약 테스트

다음 뉴스 기사를 3문장 요약을 부탁해봤습니다.
https://n.news.naver.com/article/015/0004983670?sid=105

다음 뉴스 기사를 3문장으로 요약합니다:

- 네이버 데이터 랩에 따르면, '라인' 검색량 지수가 지난 9일 47.1로 1년 7개월 만에 최고 수준을 기록했습니다. 이 같은 증가세는 일본 정부의 네이버 지분 조정 요구 등 '라인 사태'가 촉발한 국민적 관심 때문으로 분석됩니다.

- 라인 앱 신규 설치 건수도 4월 다섯째주 5만8346건으로 전주보다 3.5% 증가하는 등 라인에 대한 관심이 앱 설치와 이용자 수로 이어졌습니다.

- 일본에서 라인을 운영하는 라인야후는 네이버와 일본 소프트뱅크가 대주주인 A홀딩스 주식을 각각 50%씩 보유하고 있으나, 최근 일본 총무성의 행정지도 여파로 네이버 지분 축소 논의가 진행되고 있습니다.

👉 기사의 핵심 내용을 잘 포함하고 있어서 요약 성능도 우수하다고 생각됩니다.