개요
세상을 놀라게 한 chatGPT가 나왔지만, 회사 내에서는 정보 유출 우려와 망 분리로 사용을 못 합니다.
이를 해결하고자 회사 내에 chatGPT 같은 AI LLM 모델을 설치하고 업무용 또는 목적에 맞추어 학습 또는 Fine-tuning후 업무에 활용한다면, 업무 자동화와 높은 업무
효율성으로 높은 성과를 기대할 수 있습니다.
문제 인식 및 필요성
🤔회사는 인터넷이 안 되거나 제한된 인터넷
저는 대학 졸업 후 어렵게 처음 취업한 회사는 금융회사에 IT 부서입니다. 처음 회사라는 곳을 다니면서 새로운 세상을 접한 기분이었습니다. 인터넷이 안 되는 곳이었기 때문이었죠. 알고 보니 우리나라 금융회사는 금융감독원 규제 아래에 보안 유출 우려로 사내에 네트워크 분리가 되지 않으면 사업인가 조차 불가하다는 것을 알게 되었고, 이것은 꽤 중요한 것도 깨달았습니다. 왜냐하면 사내에 민감한 데이터나 고객 데이터가 외부로 유출된다면 이것은 엄청나게 치명적인 일이니깐요.
😲chatGPT가 세상을 깜짝 놀라게 하다.
LLM(초거대 모델) GPT 모델을 기반으로 한 채팅 형태의 SaaS 서비스가 등장했고, 이것은 전 세계의 엄청난 화두이자 트랜드가 되었습니다. 하지만, 회사에서 이것을 사용하기는 쉽지 않습니다. 왜냐하면, 인터넷이 가능해야 하고, 사내 데이터를 질의 프롬프트로 쓴다면 GPT 모델에 학습이 되어 유출될지도 모르는 불안감이 항상 있으니깐요.
목표
❓❗그렇지만, 그래서 필요합니다.
회사는 chatGPT를 활용해 업무 효율성을 높이고, 업무 내용으로 활용하기 때문에 사내 데이터가 쓰여도 유출되지 않으며, LLM 자체가 사내에 또는 전용 Private 클라우드에
설치될 수 있어야 합니다.
또한 기존 LLM에 사내 업무 내용을 학습시켜서 더욱더 효율적으로 사용할 수 있어야 합니다. 학습시키는 것에 따라 이것을 이용해 여러 가지 업무를 할 수 있고 대외 서비스 운영도
가능합니다.
또한 각 회사마다 활용 및 요구조건 다르기 때문에, 회사별로 맞춤 커스터마이징 개발 가능합니다.
솔루션
학습 방법으로는 각종 문서들을 읽어 들이고, 토큰 단위로 구문 분석 후 청크 단위로 벡터 스토어에 저장을 합니다. 이후 사용자 질문이 들어오면, 관련 벡터를 검색하고 LLM을 통해 문장을 만들어 답변과 관련 출처를 메타 데이터로 보여줍니다.
데모 화면
진행 프로세스
- 문의
- 담당 영업사원 배정 및 상담
- 계약
- 고객사 니즈 및 시스템 환경 파악을 위한 설문 조사 작성
- 맞춤 LLM 제작 및 웹 서비스 프로젝트 진행
- 배포 또는 설치
- 유지 보수