LLM을 직접 pc나 맥에 설치하여 사용하는 것에 대하여

LLM(대형 언어 모델)을 직접 윈도우 PC나 Mac에 설치해서 사용하는 경우가 관심을 받고 있습니다.

이렇게 되면 다음과 같은 장점이 있겠지요.

개인정보 보호

인터넷을 통해 서버에 보내지 않기 때문에 민감한 정보도 안심

오프라인 사용 가능

인터넷 없이도 작동 가능

빠른 반응속도

서버 통신이 없으므로 빠른 응답

무료 사용 가능

자체적으로 실행하므로 요금 없음 (

그럼 어떤 LLM을  설치할 수 있을까요?? 

아래는 이렇게 설치가능한 LLM 입니다.

1. LM Studio  https://lmstudio.ai/. 

2  Ollama  http://ollama.com 

3. GPT4All https://gpt4all.io/

4.  llamacpp  https://github.com/ggerganov/llama.cpp 

등이 있습니다.

한번 도전해보실래요 ..  흑 저는 아직 맥북이 성능이 낮아서 ㅠㅠㅠ