궁금한게 많은 개발자 노트

terraform init: 명령어는 Terraform 구성을 초기화하는 데 사용됩니다. 이 단계에서 Terraform이 작성한 Configuration을 이해하고, provider(aws, gcp, azure, local, etc)들이 필요한 플러그인과 모듈을 registry로 부터 다운로드합니다.또한, .terraform 디렉토리를 생성하여 이전에 다운로드한 리소스를 캐시합니다 https://developer.hashicorp.com/terraform/language/settings/backends/configuration Backend Configuration - Configuration Language | Terraform | HashiCorp Developer Use the `backend` b..

MLOps란 무엇인가에 정리해보려 합니다. 최근 AI 활용 기술이 많아지면서 데이터 수집과 관리, 머신러닝 모델 개발 및 운영 등의 서비스를 효율적으로 제공하기 위해 MLOps가 생겨났습니다. 실제로 인공지능 산업에서는 데이터를 관리하고 머신러닝 시스템을 개발하는 것뿐만 아니라 안정적인 운영 서비스까지 유저에게 제공해야 하는데요. 개발팀과 운영팀으로 개발과 운영 업무가 나뉘어 진행되면 서로 업무에 대한 이해가 줄어들어 비효율적이기 때문에 이를 해결하고자 MLOps 개념이 등장하였습니다. 머신 러닝의 수명 주기는 데이터 수집, 데이터 준비, 모델 훈련, 모델 조정, 모델 배포, 모델 모니터링 등과 같은 복잡한 구성요소로 이루어져 있으며 데이터 엔지니어링부터 데이터 사이언스, ML 엔지니어링, DevOps와..

EFK(Elasticsearch + Fluent-bit + Kibana)를 EKS(Elastic Kubernetes Service)상에서 구축하여, 로그 모니터링 시스템 으로 사용하던 중 Kibana에서 index pattern생성 요청 시 아무런 에러 없이 생성된 것 처럼 보이지만 Index Pattern List에서는 확인할 수 없는 현상이 발생하였습니다. 찾아보니 비슷한 에러가 종종 발생하는 것처럼 보입니다. https://github.com/elastic/kibana/issues/87607 Created an Index Pattern in Kibana but it's not saved - but no error either · Issue #87607 · elastic/kibana Kibana ve..

AWS를 사용하여 EKS환경을 구축해보면서 어떤 구성요소들이 필요한지 컴포넌트 다이어그램을 대략적으로 그려보았습니다. VPC를 private subnet과 public subnet으로 구분하고, public subnet에 bastion host인 EC2를 배치하고, private subnet에는 EKS를 생성하였습니다. 이를 통해 EKS에 직접 접근은 bastion host를 통해서만 가능하도록 하여 보안을 강화시켰습니다. 또한, worker node에 존재하는 application service pod등으로의 접근은 ALB(ingress)를 통해 가능하도록 하였습니다. 만약 data plane에 존재하는 pod들이 외부로 접근/요청이 필요한 경우에는, public subnet에 존재하는 NAT(Netw..

AWS에서 제공하는 EKS(Elastic Kubernetes Service)를 사용하다 보면, IAM User권한을 통해 EKS를 생성하고 생성한 User는 클러스터를 구성할 수 있는 system:master권한을 가져, EKS에 접근하거나 EKS내에서 생성된 k8s resource들에 대한 접근 권한이 생성됩니다. 물론, terraform이나 ansible등의 IaC를 사용하여 CLI를 통해 EKS를 구축하였더라도 kube config를 업데이트하여 IAM Role, User, Account등을 지정할 수 있습니다. AWS에서는 AWS서비스에 접근하기 위한 사용자 IAM정보를 ~/.aws/config에 저장해둔다면, EKS에서는 EKS에 접근하기 위한 토큰을 발급하여 사용하도록 하는 정보를 ~/.kub..