parquet 파일에서 특정 패턴을 보이는 열 추출 방법

parquet 파일의 열 추출 방법 알아보기

이번 포스팅에서는 parquet 파일의 열 추출 방법 에 대해서 알아보겠습니다. 데이터 용량이 큰 빅데이터를 분석할 때, 모든 데이터를 메모리에 로드하는 것은 불가능합니다. 따라서, 분석에 필요한 열(column)만 추출하는 것이 필요합니다. 열의 …

파싱(Parsing)이해하기

파싱 ( Parsing ) 이해하기

이번 포스팅에서는 파싱 ( parsing ) 에 대해서 알아보겠습니다. 파싱(Parsing)이란? 파싱은 주어진 데이터나 문자열을 해석하고 구문 분석하는 과정을 말합니다. 컴퓨터 과학 분야에서 파싱은 일련의 문자열을 특정 문법 규칙에 따라 해석하여 …

빅데이터 처리를 위한 encoding 형식 확인 방법

빅데이터 처리를 위한 encoding 형식 확인 방법

이번 포스팅에서는 빅데이터 처리를 위한 encoding 형식 확인 방법에 대해서 알아보겠습니다. “encoding(인코딩)”은 데이터를 특정 형식이나 체계로 변환하는 과정을 의미합니다. 이 용어는 주로 문자나 숫자와 같은 데이터를 컴퓨터가 이해하고 처리할 수 …

pyarrow 와 fastparquet 특성 비교

pyarrow 와 fastparquet 특성 비교

빅데이터 처리 및 데이터 과학 분야에서는 데이터의 효율적 관리와 처리 방법이 매우 중요합니다. 이를 지원해 주는 라이브러리는 여러 종류가 있지만, 이 중에서 pyarrow와 fastparquet는 데이터 처리 및 저장에 널리 사용되는 …

Polars 문자열 처리 방법 알아보기

Polars 문자열 처리 방법 알아보기

이번 포스팅에서는 DataFrame 작업 시 자주 사용되는 데이터 유형인 문자열 데이터를 처리하는 작업에 대해 알아보겠습니다( Polars 문자열 처리 방법 ). 문자열 처리는 예측할 수 없는 메모리 크기로 인해 종종 비효율적일 …

Polars 데이터 유형 변환 알아보기

Polars 데이터 유형 변환 알아보기

이번 포스팅에서는 Polars 라이브러리에서의 데이터 유형 변환 방법에 대해서 알아보겠습니다. Polars Casting (캐스팅)은 열의 기본 데이터 유형을 새 데이터 유형으로 변환합니다. Polars는 Arrow를 사용하여 메모리의 데이터를 관리하고 Rust 구현의 컴퓨팅 …

Polars 내장 함수 알아보기

Polars 내장 함수 알아보기

Polars 표현식에는 수많은 내장 함수가 있습니다. 이를 사용하면, 사용자 정의 함수 없이도 복잡한 쿼리를 생성할 수 있습니다. 여기에서 다루어야 할 내용이 너무 많지만, 가장 널리 사용되는 Polars 내장 함수 에 …

Polars 열 선택 방법 알아보기

Polars 열 선택 방법 알아보기

이전 포스팅에서는 Polars 기본 연산에 대해서 알아보았습니다. 이번 포스팅에서는 Polars 열 선택 방법에 대해서 알아보겠습니다. 열 선택 방법에는 크게 표현 확장 방법과 selectors를 사용하는 방법이 있습니다. 예제 데이터프레임 생성 표현 …