궁금한게 많은 개발자 노트

API 디자인은 소프트웨어 애플리케이션 간의 통신을 가능하게 하는 구조를 설계하는 과정을 의미합니다.API는 애플리케이션 프로그래밍 인터페이스 (Application Programming Interface)의 약자로, 서로 다른 소프트웨어 시스템이 상호작용할 수 있게 해주는 인터페이스입니다. API 디자인에는 REST, GraphQL, gRPC, WebSocket등 여러 종류가 있으며 각 디자인 방식은 성격과 용도에 따라 차이가 있습니다. REST (Representational State Transfer) APIREST API는 HTTP 프로토콜을 기반으로 한 아키텍처 스타일로, 리소스(데이터)를 URI로 식별하고 이를 HTTP 메소드(GET, POST, PUT, DELETE 등)를 사용하여 조작합니다..

Fluent Bit의 목표는 중앙(ElasticSearch)으로 로그를 모으고, 파싱하고, 필터링하고, 적재하는 것입니다. 이 과정에서 처리할 새로운 데이터를 받는데, 데이터를 빠르게 전송하지 못한다면 Back Pressure를 마주하게 됩니다. Fluent bit을 사용하는 특정 시나리오에서는 일부 Target으로 Flush하는 것보다 로그나 데이터가 더 빠르게 수집되거나 생성될 수 있습니다. 이러한 일반적인 시나리오 중 하나는 특히 큰 백로그가 있는 큰 로그 파일에서 읽고 응답하는 데 시간이 걸리는 네트워크를 통해 로그를 백엔드로 디스패치하는 경우입니다. 이로 인해 Back Pressure가 발생하여 서비스에서 메모리 소비가 높아집니다. Fluent Bit는 버퍼링으로 백프레셔와 일반적인 전송 실패 ..

서버로 부터 이미지나 동영상 파일을 다운로드 받을 때, base64로 encode된 PlainTextResponse를 사용해도 되지만, 좀 더 나은 성능을 보장하며 Async방식으로 다운 받을 수 있는 StreamingResponse 사용 및 사용 시 주의 점에 대해 알아보고자 합니다. https://fastapi.tiangolo.com/advanced/custom-response/#streamingresponse Custom Response - HTML, Stream, File, others - FastAPI FastAPI framework, high performance, easy to learn, fast to code, ready for production fastapi.tiangolo.com 서..

Python으로 AWS와 연동할 때, boto3라이브러리를 사용하여 애플리케이션이나 스크립트를 Amazon S3, EC2, DynamoDB등의 서비스와 쉽게 연결하여 사용할 수 있습니다.그 중 비동기적으로 파이썬 애플리케이션과 AWS 서비스를 연동하기 위해 asyncio 패키지와 boto3를 사용하여 패키징한 aiobotocore를 사용하여 비동기적으로 FastAPI와 AWS S3를 연동해보려 합니다. 이 때, aiobotocore를 사용할 수도 있지만, aioboto3를 사용할 수도 있습니다. 두 라이브러리의 차이점은 무엇일까요? 두 라이브러리의 공통점은 모두 Python에서 AWS 서비스에 접근할 수 있도록 해주는 비동기 라이브러리입니다.하지만, aiobotocore는 비교적 저수준 라이브러리로 기본..

FastAPI 프레임워크의 구성요소와 FastAPI가 사용하는 비동기 메커니즘에 대해 알아보고자 합니다. 우선 FastAPI가 각광받는 이유로는 높은 속도와 성능(Starlette와 Pydantic), ASGI를 기반한 비동기(async/await), 코드 변화에 따른 API문서화(openAPI)등을 꼽을 수 있습니다. WSGI(Web Server Gateway Interface): 웹서버와 웹프레임워크 사이에서 통신하기 위한 인터페이스 (동기) ex) gunicorn ASGI(Asynchronous Server Gateway Interface): WSGI를 계승하고, Asyncio라이브러리를 이용한 비동기 처리 가능 높은 속도와 성능이 보장되는 이유는 FastAPI는 ASGI서버인 Starlette 프..