2025/04 2

대규모 데이터를 배치로 처리할 때에 알아두면 좋은 내용

대규모 데이터를 배치로 처리할 때에 알아두면 좋은 내용배치가 뭐고 왜 쓰는거지?간단하게 말하자면 데이터나 작업 등을 자동으로 처리하는 방법이다.사용 용도는 다음과 같다.대용량 데이터 처리 : 실시간으로 하기 곤란한 대용량 데이터 처리반복 작업 : 주기적으로 수행되기 때문에 자동으로 되면 좋은 것복잡하거나 리소스가 많이 드는 작업 : 시간이 오래 걸리거나 리소스 소모가 심하면 사용량이 적을 때에 배치로 처리 가능즉, 얘는 개발자가 직접 처리하지 않고 뭉탱이로 처리할 수 있는 용도이고 장점은대용량 처리 가능작업 용이자동화부하 분산등이 있을 것이다.대용량 데이터 사용 시 배치 주의점배치를 사용하면 대용량 데이터를 처리할 수 있다.그런데... 만약 그 대상이 되는 데이터가 진짜 짱많은면 어떨까?생각을 해보면배치..

MySQL Index 설계 방법 With Cardinality(무조건 Cardinality가 높아야 할까에 대한 고찰)

MySQL Index 설계 방법 With Cardinality(무조건 Cardinality가 높아야 할까에 대한 고찰)Cardinality 란 무엇인가?컬럼에 저장된 고유한 값의 개수즉, 전체 데이터의 개수에 비해 고유한 값의 수가 얼마나 되는지를 나타낸다.카디널리티가 높다 : 고유한 값이 많다(겹치지 않는 데이터가 많다.)카디널리티가 낮다 : 고유한 값이 적다(겹치는 데이터가 많다.)그러면 이게 어떤 역할일까?인덱스를 사용하는 목적은 검색 속도의 상승이다.인덱스를 만들 때에 Cardinality 를 고려하면(인덱스를 통해 검색할 데이터의 선택도를 고려한다면) 검색 속도를 상승시킬 수 있다.옵티마이저는 쿼리 문법을 분석하고 의미를 해석할 때, 테이블 크기, 행 수, 컬럼의 Cardinality, 값의 분..