동시 요청 처리(Langchain활용 챗봇 구현) | JDK21-Virtual Thread

깃허브 링크 : https://github.com/Seowon-Park/chatbot-by-vitualThread

GitHub - Seowon-Park/chatbot-by-vitualThread

대규모 요청 처리의 중요성

앞으로 기업이나 기관에서 챗봇을 활용한 사무 처리 비중이 증가하지 않을까 싶다.

다수의 직원들이 동시에 시스템 접속하는 상황이 빈번해짐으로 동시 요청 처리를 효율적으로 관리하는 기술이 더욱 중요해질 거라고 생각한다.

이번 프로젝트에는 챗봇 구현에 JDK가 지원하는 가상 스레드(Virtual Thread) 기능을 적용해보기로 했다. 

 

Virtual Thread(가상 스레드)란?

 

결과

 

챗봇 구현

[사용자 브라우저]

↓

[Spring Boot 3.2 웹서버] ⇄ [LangChain API 서버 (Flask/FastAPI)]

↑                                                                 ↑

Virtual Threads (JDK 21)             OpenAI, 검색 API 등

-

위 구조로 구현한다.