STACKBASE

Multi-Region LLM을 이용하여 Token 허용량 늘리기Multi-Region LLM: AWS는 전 세계 여러 리전(데이터 센터)에 서비스를 제공합니다. Multi-Region LLM은 말 그대로 여러 AWS리전에 LLM 엔드포인트를 배포하는 전략입니다. 이는 다음과 같은 이점을 제공합니다.1) 지연 시간 단축: 사용자와 가까운 리전에서 응답하여 챗봇의 반응 속도를 높입니다.2) 고가용성: 특정 리전에 문제가 생겨도 다른 리전으로 트래픽을 전환하여 서비스 중단 없이 챗봇을 운영할 수 있습니다. 3) 로드 밸런싱: 특정 리전에 부하가 집중될 경우, 다른 리전으로 분산하여 안정적인 서비스를 유지합니다.Python으로 경험하는 Multi-Region LLM 호출 시나리오Multi-Region LLM이..

사용자는 VPC(Virtual Private Cloud)를 사용하면 논리적으로 격리된 가상 네트워크에서 AWS 리소스를 구축할 수 있습니다. 격리된 VPC 간 연결 또는 VPC와 온프레미스 네트워크 간 연결이 필요한 경우 Transit gateway로 연결합니다.(다른 방법도 있습니다.) 이러한 작업을 위해 Transit gateway에 대한 이해를 높이고자 Transit gateway와 VPC를 연결할 때 어떤 작업이 진행되고 Traffic 흐름은 어떻게 되는지 정리해봤습니다.* 아래 문단부터 Transit gateway는 tgw으로 언급하겠습니다. TGW와 VPC를 연결하면?TGW와 VPC를 연결하려면 TGW Attachment를 생성해야합니다. TGW Attachment를 생성할 때 연결하려는 V..

클래스 기반 뷰(Class Based View) HttpRequest에 대한 HttpResponse을 구현 할 때 클래스를 이용하는 방법이다. 자주 사용되는 기능들을 클래스로 만들어서 사용자들이 손쉽게 재사용 할 수 있다. 다만, 모든 기능들을 CBV으로 대체 할 수 있는 것은 아니니, 함수 기반 뷰(FBV)도 작성할 수 있어야 한다. * CBV가 가지는 편리함(예시) 함수 기반 뷰에서는 request.method가 GET과 POST로 조건문이 분기하게 되있지만, 클래스 기반 뷰에서는 함수를 히용하여 분기문을 대체할 수 있다. #함수 기반 뷰 from django.http import HttpResponse def my_view(request): if request.method == 'GET': # re..

1. 장고의 HttpRequest 처리 흐름도 1. User가 웹서버(장고)에 HttpRequest를 보내면(url을 통한 접근) urls.py에 매핑되는 1개의 View가 호출된다. 2. View는 HttpRequest을 받아 요청에 충족하는 데이터를 Model을 통해 read/write 하고, Template에 응답 서식을 받아 User에게 HttpResponse를 반환한다. 2. View의 형태 View는 함수 기반 뷰(Function Based View)와 클래스 기반 뷰(Class Based View) 두 가지 형태가 있다. # FBV 형태 View # views.py def content_list(request): ~~~~ return render(request, 'Template/.html'..