고정된 자리수의 빈자리를 특정문자로 채워 반환하는 방법
이번 포스팅에서는 판다스 패키지를 사용하여 고정된 자리수의 빈자리를 특정문자로 채워 반환 하는 방법에 대해서 알아보겠습니다. 예를 들어, 숫자 앞에 0을 추가하여 5자리로 고정한 후, ‘ID_’ 문자열을 맨 앞에 추가하여 총 …
xlwings 라이브러리 이해하기
xlwings 라이브러리 는 엑셀과 상호작용할 수 있게 해주는 파이썬 라이브러리입니다. 엑셀 파일을 읽고 쓰는 것 뿐만 아니라, 엑셀의 고급 기능을 파이썬 스크립트로 제어할 수 있습니다. 또한, xlwings는 엑셀의 VBA(Visual Basic …
Python Pandas ParserError 해결 방법
이번 포스팅에서는 파이썬에서 발생할 수 있는 ParserError 해결 방법에 대해서 알아보겠습니다. 지난 번 포스팅에서는 빅데이터 분석 시 기초적이지만, 필수적인 데이터 encoding 형식을 확인하는 방법에 대해서 알아보았는데요. 데이터 encoding 형식을 확인한 …
빅데이터 처리를 위한 encoding 형식 확인 방법
이번 포스팅에서는 빅데이터 처리를 위한 encoding 형식 확인 방법에 대해서 알아보겠습니다. “encoding(인코딩)”은 데이터를 특정 형식이나 체계로 변환하는 과정을 의미합니다. 이 용어는 주로 문자나 숫자와 같은 데이터를 컴퓨터가 이해하고 처리할 수 …
대용량 CSV 파일을 Parquet 파일로 변환 (fastparquet 엔진 사용)
이번 포스팅에서는 대용량 CSV 파일을 Parquet 파일로 변환 하는 Python 함수를 생성하는 방법에 대해서 알아보겠습니다. 개요 Python은 기본적으로 메모리 기반입니다. 분석에 필요한 모든 데이터들을 메모리에 적재하는 작업이 선행됩니다. 아무리 성능이 …
Polars 문자열 처리 방법 알아보기
이번 포스팅에서는 DataFrame 작업 시 자주 사용되는 데이터 유형인 문자열 데이터를 처리하는 작업에 대해 알아보겠습니다( Polars 문자열 처리 방법 ). 문자열 처리는 예측할 수 없는 메모리 크기로 인해 종종 비효율적일 …
Polars 데이터 유형 변환 알아보기
이번 포스팅에서는 Polars 라이브러리에서의 데이터 유형 변환 방법에 대해서 알아보겠습니다. Polars Casting (캐스팅)은 열의 기본 데이터 유형을 새 데이터 유형으로 변환합니다. Polars는 Arrow를 사용하여 메모리의 데이터를 관리하고 Rust 구현의 컴퓨팅 …
Polars 내장 함수 알아보기
Polars 표현식에는 수많은 내장 함수가 있습니다. 이를 사용하면, 사용자 정의 함수 없이도 복잡한 쿼리를 생성할 수 있습니다. 여기에서 다루어야 할 내용이 너무 많지만, 가장 널리 사용되는 Polars 내장 함수 에 …
Polars 열 선택 방법 알아보기
이전 포스팅에서는 Polars 기본 연산에 대해서 알아보았습니다. 이번 포스팅에서는 Polars 열 선택 방법에 대해서 알아보겠습니다. 열 선택 방법에는 크게 표현 확장 방법과 selectors를 사용하는 방법이 있습니다. 예제 데이터프레임 생성 표현 …
Polars 기본 연산 이해하기
이전 포스팅에서는 Polars 라이브러리를 시작하는 방법에 대해서 알아보았습니다. 이번 포스팅에서는 표현식과 함께 Polars 기본 연산 (예: 더하기, 빼기 등)을 사용하는 방법에 대해서 알아보겠습니다. 다음 데이터프레임의 맥락에서 다양한 테마와 여러 예제를 …