원론

Array Array(배열)은 같은 데이터 타입을 가진 값이 모여있는 형태입니다. 아래 그림처럼 int컬럼은 Array의 유형이고, str컬럼은 Array의 유형입니다. WITH data AS ( SELECT [1, 2, 3, 4, 5] AS int ,['가', '나', '다', '라', '마'] AS str ) SELECT int, str FROM data, UNNEST(int) AS int with OFFSET int_offset, UNNEST(str) AS str with OFFSEt str_offset where true and int_offset = str_offset ; Array(배열)을 사용하는 이유 데이터의 같은 유형을 그룹화 할 수 있어, 접근성이 높습니다. 메모리를 보다 효율적으로 관..

window 함수 SUM, AVG, FIRST_VALUE, LAST_VALUE… OVER (PARTITION BY ORDER BY [Rows / Range] between [CURRENT ROW / UNBOUNDED PRECEDING / UNBOUNDED FOLLOWING] : 시작 AND [CURRENT ROW / UNBOUNDED PRECEDING / UNBOUNDED FOLLOWING] : 마지막 rows_range : A clause that defineds a window frame with physical rows or a logical range [Rows / Range] 차이 rows : 물리적인 위치(Physical offsets) 를 사용하는 것을 정의한다. Range : row들의 논..

ALTER TABLE 프로젝트명.테이블명 RENAME COLUMN[기존 테이블 컬럼명] TO [바꿀 테이블 컬럼명]; 기억하기 위해 작성합니다.

Flashback 이란 무엇인가? DML작업 중 데이터베이스에 피해가 간 경우 혹은 몇시간 전, 몇분 전으로 복구하고 싶은 경우 사용하는 방법입니다. SELECT * FROM `mydataset.mytable` FOR SYSTEM_TIME AS OF TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 HOUR); 위와 같은 방법으로, 1시간 전의 이전 테이블을 생성할 수 있습니다.

안녕하세요. 글을 오랜만에 작성하는 것같습니다. 작년 한 스타트업 데이터 엔지니어팀에 입사하여 바쁘게 지내다 보니 정신없이 지냈습니다. 현재 회사에서는 Bigquery 및 Python을 하면서 지내고 있습니다. 특히 Bigquery를 통해 프로시져를 작성하는 업무를 주로 하고 있습니다. 그래서 입사 한 후 많이 다루고 있는 Bigquery에 대한 정리를 조금씩 하고자 합니다. Bigquery 정의 빅쿼리(BigQuery)는 페타바이트급 이상의 데이터에 대해 스케일링 분석(필요시 실시간으로 컴퓨팅 자원을 동적으로 확장)을 가능케 하는 완전 관리형(fully-managed) 서버리스 컴퓨팅 데이터 웨어하우스이다. 빅쿼리는 2010년 5월 발표되었으며 2011년 11월 일반에 공개되었다. 빅쿼리의 UI를 살펴..