궁금한게 많은 개발자 노트

terraform init: 명령어는 Terraform 구성을 초기화하는 데 사용됩니다. 이 단계에서 Terraform이 작성한 Configuration을 이해하고, provider(aws, gcp, azure, local, etc)들이 필요한 플러그인과 모듈을 registry로 부터 다운로드합니다.또한, .terraform 디렉토리를 생성하여 이전에 다운로드한 리소스를 캐시합니다 https://developer.hashicorp.com/terraform/language/settings/backends/configuration Backend Configuration - Configuration Language | Terraform | HashiCorp Developer Use the `backend` b..

FastAPI 프레임워크의 구성요소와 FastAPI가 사용하는 비동기 메커니즘에 대해 알아보고자 합니다. 우선 FastAPI가 각광받는 이유로는 높은 속도와 성능(Starlette와 Pydantic), ASGI를 기반한 비동기(async/await), 코드 변화에 따른 API문서화(openAPI)등을 꼽을 수 있습니다. WSGI(Web Server Gateway Interface): 웹서버와 웹프레임워크 사이에서 통신하기 위한 인터페이스 (동기) ex) gunicorn ASGI(Asynchronous Server Gateway Interface): WSGI를 계승하고, Asyncio라이브러리를 이용한 비동기 처리 가능 높은 속도와 성능이 보장되는 이유는 FastAPI는 ASGI서버인 Starlette 프..

MLOps란 무엇인가에 정리해보려 합니다. 최근 AI 활용 기술이 많아지면서 데이터 수집과 관리, 머신러닝 모델 개발 및 운영 등의 서비스를 효율적으로 제공하기 위해 MLOps가 생겨났습니다. 실제로 인공지능 산업에서는 데이터를 관리하고 머신러닝 시스템을 개발하는 것뿐만 아니라 안정적인 운영 서비스까지 유저에게 제공해야 하는데요. 개발팀과 운영팀으로 개발과 운영 업무가 나뉘어 진행되면 서로 업무에 대한 이해가 줄어들어 비효율적이기 때문에 이를 해결하고자 MLOps 개념이 등장하였습니다. 머신 러닝의 수명 주기는 데이터 수집, 데이터 준비, 모델 훈련, 모델 조정, 모델 배포, 모델 모니터링 등과 같은 복잡한 구성요소로 이루어져 있으며 데이터 엔지니어링부터 데이터 사이언스, ML 엔지니어링, DevOps와..

EFK(Elasticsearch + Fluent-bit + Kibana)를 EKS(Elastic Kubernetes Service)상에서 구축하여, 로그 모니터링 시스템 으로 사용하던 중 Kibana에서 index pattern생성 요청 시 아무런 에러 없이 생성된 것 처럼 보이지만 Index Pattern List에서는 확인할 수 없는 현상이 발생하였습니다. 찾아보니 비슷한 에러가 종종 발생하는 것처럼 보입니다. https://github.com/elastic/kibana/issues/87607 Created an Index Pattern in Kibana but it's not saved - but no error either · Issue #87607 · elastic/kibana Kibana ve..

AWS를 사용하여 EKS환경을 구축해보면서 어떤 구성요소들이 필요한지 컴포넌트 다이어그램을 대략적으로 그려보았습니다. VPC를 private subnet과 public subnet으로 구분하고, public subnet에 bastion host인 EC2를 배치하고, private subnet에는 EKS를 생성하였습니다. 이를 통해 EKS에 직접 접근은 bastion host를 통해서만 가능하도록 하여 보안을 강화시켰습니다. 또한, worker node에 존재하는 application service pod등으로의 접근은 ALB(ingress)를 통해 가능하도록 하였습니다. 만약 data plane에 존재하는 pod들이 외부로 접근/요청이 필요한 경우에는, public subnet에 존재하는 NAT(Netw..