파이썬으로 csv 파일을 parquet 파일로 변환하는 방법
이번 포스팅에서는 ” 파이썬으로 csv 파일을 parquet 파일로 변환하는 방법 ” 에 대해서 알아 보겠습니다. parquet 파일에 대한 자세한 내용은 빅데이터 처리를 위한 Parquet(파케이) 파일 형식 알아보기 포스팅 글을 참고하시면 …
Fake Data 생성 – 빅데이터 처리 실습용 데이터 (Faker 활용)
이번 포스팅에서는 파이썬을 활용하여 실제 빅데이터 처리 및 분석 실습을 위한 대용량의 Fake Data 생성 방법에 대해서 알아 보겠습니다. 일반 블러그나 유투브에서 설명하는 데이터 분석을 보면, 비슷 비슷하고, 간단한 데이터를 …
빅데이터 처리를 위한 Parquet(파케이) 파일 형식 알아보기
빅데이터 처리를 위한 PyArrow 라이브러리 포스팅에서 Pyarrow 라이브러리에 대해서 알아 보았습니다. 빅데이터 처리 시 Pyarrow와 연관이 있는 파일 형식 중 Parquet 파일이 있습니다. Parquet파일은 빅데이터를 저장하고 처리하기 위한 열 지향 …
빅데이터 처리를 위한 PyArrow 라이브러리
PyArrow은 Apache Arrow의 Python 바인딩(두 가지 다른 소프트웨어 구성 요소 간에 상호 작용하도록 만들어진 연결)입니다. Apache Arrow는 빅데이터 시스템이 데이터를 빠르게 저장, 처리 및 이동할 수 있도록 하는 개발 플랫폼으로 …
Python Pandas 마스터하기 21 ~ 30
이번 포스팅은 Python pandas 마스터하기 위한 세번째 포스팅입니다. 이번 포스팅 내용을 학습하기 전에 이전 포스팅(Python pandas 마스터하기 1 ~10, Python pandas 마스터하기 11 ~20) 내용을 먼저 학습하시기 바랍니다. 간단한 예제 …
Python Pandas 마스터하기 11 ~ 20
이번 포스팅은 Python pandas 마스터하기 위한 두 번째 포스팅입니다. 이번 포스팅 내용을 학습하기 전에 이전 포스팅(htPython pandas 마스터하기 1 ~10) 내용을 학습하시기 바랍니다. 간단한 예제 코드와 설명을 포함한 100가지 Python …
Python Pandas 마스터하기 1 ~ 10
Python pandas는 데이터 과학과 분석 분야에서 널리 사용되는 강력한 데이터 조작 및 분석 라이브러리입니다. 이 라이브러리는 데이터를 효율적으로 처리하고 변환하기 위한 다양한 기능을 제공합니다. 이번 포스팅에서는 Python pandas를 학습하기 위해 …
파이썬을 활용한 스크랩핑 실습2
이번 포스팅에서는 지난 번 포스팅(파이썬을 활용한 스크랩핑 실습1) 내용에 이어서 파이썬을 활용한 스크랩핑 방법에 대해서 알아 보겠습니다. 네이버 증권 메뉴에서 국내 증시에 상장된 모든 종목의 주식 관련 기본 정보를 시가총액 …
파이썬을 활용한 스크랩핑 실습1
이번 포스팅에서는 파이썬 스크래핑 실습 첫 포스팅으로 파이썬을 활용해서 네이버 증권 메뉴에 있는 국내증시 거래량 기준 top 100 종목과 종목에 대한 기본 정보를 스크랩핑해서 엑셀 파일로 저장하는 방법에 대해서 알아 …
KS통계량 산출 함수 만들기
K-S통계량은 본래 두 집단의 분포가 동일한 지 검증하는 통계량 입니다. 이진분류예측 모형에 대한 성능을 검증하기 위한 지표로 자주 사용됩니다. K-S통계량 및 해당 내용에 대한 자세한 설명은 K-S-통계량-산출하기 글을 참고하시기 바랍니다. …