본문 바로가기

BackEnd28

[DB] 백엔드 개발자를 위한 효율적인 데이터베이스 선택 가이드 1. 데이터베이스의 구분데이터베이스는 크게 SQL DB와 NoSQL DB로 나눌 수 있다.   SQL DB는 스키마 기반의 테이블 구조를 가지고 있으며 ACID 특성을 보장하며, 금융 시스템과 같이 데이터 무결성과 트랜잭션 관리가 중요한 경우 사용된다. 게다가 40년 넘게 사용되고 있는 만큼 높은 안정성과 신뢰성을 자랑한다. 하지만, NoSQL DB에 비해서 확장성과 샤딩이 어렵다는 단점이 있다. 반면에, NoSQL DB는 스키마가 유연하고 대규모 데이터 분산 저장 및 처리에 최적화되어 있으며, BASE 특성을 가집니다. 또한, 빅데이터 분석을 처리하는데 탁월하며, 확장성도 훨씬 좋다. 하지만, 각각 DB마다 다르겠지만 호환성, 자료 부족 등의 문제가 있다. 실제로 위 그래프처럼, SQL DB가 거의 메.. 2024. 11. 17.
[대규모 시스템 설계] Kafka의 기초 Kafka 기본 개념 정리1. Kafka Cluster와 BrokerCluster: 여러 Kafka Broker가 모여서 이루어지는 것. Broker는 하나의 Kafka 서버를 의미.Broker: 데이터를 저장하고, Producer로부터 데이터를 받아와 Consumer에게 전달하는 역할을 수행.2. Consumer LagLag: Producer가 데이터를 추가하는 속도가 Consumer가 데이터를 소비하는 속도보다 빠를 때, 마지막으로 소비된 오프셋(offset)과 마지막으로 추가된 오프셋 간의 차이. Consumer의 상태를 파악하는 데 중요한 지표로 사용됨.3. Topic과 PartitionTopic: Kafka에서 데이터를 저장하고 관리하는 단위.Partition: Topic을 분할한 단위. 각 P.. 2024. 11. 15.
[DB] CSV 파일 데이터 DB에 업로드 CSV 파일을 사용하는 이유초기 데이터를 몇 개만 추가해야 한다면, 그냥 우리가 직접 DB 콘솔에 접속해서 하나하나 데이터를 넣거나 하면 된다. 하지만, 사실 우리가 데이터가 한두개일리가 절대 없다. 예를 들어, 공공데이터 포탈에서 데이터를 받아올 경우, 데이터가 수천, 수만건이 될 것이다. 이때, 이 데이터들을 하나씩 직접 입력하는 것은 비효율적일 뿐 아니라 시간이 많이 소요된다. 또, 만약 테이블이 통째로 삭제되는 문제가 발생한다면,수만개의 데이터를 다시 입력해야 하므로 상당한 노력이 필요하게 된다. CSV 파일을 활용하면 이런 문제를 해결할 수 있다. 한 번에 많은 데이터를 가져와 데이터베이스에 바로 삽입할 수 있기 때문에, 대량의 데이터 처리가 필요한 경우 CSV 파일 업로드는 훨씬 더 효율적이고.. 2024. 11. 13.
[개발] NGINX 기초 Nginx란?Nginx란 비동기 이벤트 기반 구조의 경량화 웹서버이다. 주로, 정적 파일을 응답해주는 웹서버로 사용하거나, Reverse Proxy Server로 활용하거나, 로드밸런서의 역할을 하거나, HTTPS 인증을 할 때 쓰인다. 시작하기 앞서, Nginx 설치에 어려움을 겪거나, 귀찮게 설치 안해보고도 테스트 해보고 싶은 분들은 Nginx를 웹에서 테스트 해볼 수 있는 Nginx Playgorund를 사용해보자.  nginx playground nginx-playground.wizardzines.comNginx를 활용할 수 있는 방안1. 정적 캐싱 서버 : Nginx의 캐싱 기능을 이용해 정적 콘텐츠(예: 이미지, CSS, JavaScript 파일 등)를 캐시함으로써 서버 부하를 줄이고 콘텐츠를.. 2024. 11. 12.
[AWS] AWS Lambda의 활용 Serverless란 무엇인가?많이들 오해 하는데, 서버리스라는게 백엔드 서버가 없다는 뜻이 아니다. 우리가 직접 서버를 관리하지 않아 신경 쓸 필요가 없다는 의미로 서버리스라고 부르는 것이다.  필요한 컴퓨팅 리소스와 스토리지만 동적으로 할당한 다음, 그 부분에 대해서만 비용을 청구하는 모델이다. 사용한만큼 비용이 청구되기 때문에 매우 경제적이며 자원을 효율적으로 사용이 가능. 비용도 굉장히 저렴하다.  300원에 200만뷰 소화하기 - 서버리스 아키텍처 AWS 람다(Lambda) 활용 사례 - 로켓펀치 공식 블로그  로켓펀치에서는 기본적인 웹 서비스 외에 제휴를 통해 로켓펀치의 채용 공고를 위젯 형식으로 노출하는 경우가 있습니다. (예 : 플래텀 오른쪽 사이드바 위젯) 이런 위젯들을 운영하다 보니bl.. 2024. 11. 9.
[DB] ElasticSearch Index 설정과 텍스트 분석 Index API의 개요ElasticSearch를 할 때 가장 기초가 되는 부분이다. 물론 데이터를 삽입할 때, Index가 없으면 자동으로 생성하지만... 사실 세부적으로 검색을 튜닝하려면 Index에 대한 세부적인 설정은 필수이다. Index API는 Index를 생성하고 설정을 하는 역할을 한다. 이 때, 데이터 모델링을 진행한다. 이때, 한번 생성한 맵핑 타입은 변경할 수 없으니 주의할 것! Index 설정 요청은 아래처럼 생겼다. 크게 setting 부분과 mapping 부분 이렇게 두개로 나뉜다고 보면 된다.PUT /complex_index{ "settings": { "analysis": { "analyzer": { "korean_analyzer": { .. 2024. 11. 8.
[DB] Elastic Search의 기초 Elastic Search란?방대한 양의 데이터를, 거의 실시간에 가깝게 저장, 검색, 분석 할 수 있도록 하는 오픈소스 분산 검색 엔진이다. ELK Stack이란?Elastic Search, Logstash, Kibana 3개를 합쳐 ELK라고 부른다. 보통 로그 분석으로 사용되며, 여기서 특히 Elastic Search가 범용성이 높아 단독으로 사용되는 경우가 많다.FileBeat : 로그 파일 Logstash에게 전달하기 위한 놈Logstash : 다양한 소스의 로그 또는 데이터를 수집, 집계, 파싱하여 ElasticSearch에게 전달하는 놈ElasticSearch : Logstash로 부터 받은 데이터를 검색 및 집계하는 역할Kibana : ElasticSearch로 검색한 데이터를 GUI로 시.. 2024. 11. 7.

티스토리툴바