Python 탐색적 데이터 분석 (EDA)
탐색적 데이터 분석 (EDA)은 데이터를 통해 통찰력을 얻고, 패턴을 식별하고, 데이터 세트의 구조를 이해하기 위해 필요한 중요한 단계로모든 데이터 과학 프로젝트에서 중요합니다. 이번 포스팅에서는 Python 탐색적 데이터 분석을 위한 명령 …
python range 함수 사용 방법 이해하기
이번 포스팅에서는 python range 함수 사용 방법에 대해서 알아 보겠습니다. range() 함수는 일련의 숫자를 생성하기 위해 사용하는 Python의 내장 함수 중 하나 입니다. 이 함수는 각각 start, stop, step이라는 1~3개의 …
parquet 파일의 열(column) 추출 방법 알아보기
이번 포스팅에서는 파이썬으로 parquet 파일의 특정 열(column) 추출 방법에 대해서 알아 보겠습니다. parquet 파일에 대한 자세한 설명은 parquet 파일 형식 알아보기 포스팅을 참고하시면 됩니다. parquet 파일 형식에서 특정 열만 추출하는 …
Python Pandas 마스터하기 51 ~ 60
이번 포스팅은 Python pandas 마스터하기 위한 여섯 번째 포스팅입니다( python pandas 마스터하기 51~60 ). 이번 포스팅 내용을 학습하기 전에 이전 포스팅(Python pandas 마스터하기 1 ~10, Python pandas 마스터하기 11 ~20, …
Python Pandas 마스터하기 41 ~ 50
이번 포스팅은 Python pandas 마스터하기 위한 다섯번째 포스팅입니다( python pandas 마스터하기 41~50 ). 이번 포스팅 내용을 학습하기 전에 이전 포스팅(Python pandas 마스터하기 1 ~10, Python pandas 마스터하기 11 ~20, Python …
Python Pandas 마스터하기 31 ~ 40
이번 포스팅은 Python pandas 마스터하기 위한 네번째 포스팅입니다. 이번 포스팅 내용을 학습하기 전에 이전 포스팅(Python pandas 마스터하기 1 ~10, Python pandas 마스터하기 11 ~20, Python pandas 마스터하기 21 ~30) 내용을 …
파이썬으로 csv 파일을 parquet 파일로 변환하는 방법
이번 포스팅에서는 ” 파이썬으로 csv 파일을 parquet 파일로 변환하는 방법 ” 에 대해서 알아 보겠습니다. parquet 파일에 대한 자세한 내용은 빅데이터 처리를 위한 Parquet(파케이) 파일 형식 알아보기 포스팅 글을 참고하시면 …
Fake Data 생성 – 빅데이터 처리 실습용 데이터 (Faker 활용)
이번 포스팅에서는 파이썬을 활용하여 실제 빅데이터 처리 및 분석 실습을 위한 대용량의 Fake Data 생성 방법에 대해서 알아 보겠습니다. 일반 블러그나 유투브에서 설명하는 데이터 분석을 보면, 비슷 비슷하고, 간단한 데이터를 …
빅데이터 처리를 위한 Parquet(파케이) 파일 형식 알아보기
빅데이터 처리를 위한 PyArrow 라이브러리 포스팅에서 Pyarrow 라이브러리에 대해서 알아 보았습니다. 빅데이터 처리 시 Pyarrow와 연관이 있는 파일 형식 중 Parquet 파일이 있습니다. Parquet파일은 빅데이터를 저장하고 처리하기 위한 열 지향 …
빅데이터 처리를 위한 PyArrow 라이브러리
PyArrow은 Apache Arrow의 Python 바인딩(두 가지 다른 소프트웨어 구성 요소 간에 상호 작용하도록 만들어진 연결)입니다. Apache Arrow는 빅데이터 시스템이 데이터를 빠르게 저장, 처리 및 이동할 수 있도록 하는 개발 플랫폼으로 …