[Article Scrap] 엔비디아, PC에서 쓸 수 있는 맞춤형 챗봇 '챗 위드 RTX' 발표

엔비디아는 사용자만의 콘텐츠로 챗봇을 개인화 할 수 있는 챗 위드 RTX(Chat With RXT)를 제공한다고 14일 밝혔다. 이 ‘챗 위드 RTX’는 최소 8GB의 비디오 메모리를 갖춘 엔비디아 지포스 RTX 30 시리즈 이상의 그래픽처리장치(GPU)가 탑재된 윈도 기반 PC에서 사용할 수 있으며, 무료로 다운로드 가능하다.

엔비디아, ‘챗 위드 RTX’로 엔비디아 RTX 기반 AI PC에 맞춤형 챗봇 제공 / 엔비디아© 제공: IT조선

 

챗 위드 RTX는 사용자가 자신만의 콘텐츠로 챗봇을 개인화 할 수 있는 기술 데모로, 검색 증강생성(RAG), 엔비디아 텐서RT-LLM(TensorRT-LLM) 소프트웨어, 엔비디아 RTX 가속화 등을 사용해 로컬 지포스 기반 윈도PC에 생성형 AI 기능을 제공한다. 

 

사용자는 PC의 로컬 파일을 데이터셋으로 미스트랄(Mistral)이나 라마 2(Llama 2)와 같은 오픈소스 LLM(대규모 언어 모델)에 빠르고 쉽게 연결해 상황에 맞는 빠른 답변을 얻을 수 있다. 

 

사용자들은 메모나 저장해둔 콘텐츠를 검색하는 대신 ‘챗 위드 RTX’를 이용, 간단한 검색어를 입력해 챗봇을 이용할 수 있다. 예를 들어 "라스베가스에 있을 때 내 친구가 추천한 레스토랑이 어디야?"라고 질문하면, 챗 위드 RTX가 사용자가 지정한 로컬 파일을 스캔해 상황에 맞는 답변을 제공한다.

 

‘챗 위드 RTX’는 일반 텍스트 파일(.txt), PDF, MS워드 문서(doc/docx), xml 등 다양한 파일 형식을 지원하며,  애플리케이션에서 해당 형식의 파일들을 포함한 폴더를 지정하면 빠르게 라이브러리에 로드된다. 또한 유튜브(YouTube) 동영상 혹은 재생 목록의 정보도 포함할 수 있다. 

 

챗 위드 RTX는 PC에서 로컬로 실행되므로 결과가 빠르게 제공되고, 사용자의 데이터는 디바이스에 그대로 유지된다. 또한, 클라우드 기반 LLM 서비스 대신 챗 위드 RTX를 사용하면 민감한 데이터를 제3자와 공유하거나 인터넷에 연결하지 않고도 처리할 수 있다.

 

한편, 챗 위드 RTX는 깃허브(GitHub)에서 이용할 수 있는 텐서RT-LLM RAG 개발자 레퍼런스 프로젝트를 기반으로 제작됐다. 개발자들은 이 레퍼런스 프로젝트를 통해 텐서RT-LLM으로 가속화된 RTX용 RAG 기반 애플리케이션을 직접 개발하고 배포할 수 있다. 

 

 

권용만 기자 yongman.kwon@chosunbiz.com