이번 포스팅에서는 데이터 분석 프로세스의 두 번째 단계인 데이터 수집 에 대해서 알아 보겠습니다. 데이터 수집에 가장 많이 활용되는 플랫폼은 Kaggle 입니다.
Kaggle은 데이터 과학 및 기계 학습 경연 및 프로젝트 플랫폼으로, 데이터 과학자 및 엔지니어들이 다양한 문제에 대한 해결책을 찾고 경쟁하며 학습하고 공유할 수 있는 대표적인 온라인 커뮤니티입니다.
Kaggle에서 데이터를 수집하는 방법에 대해서 자세히 알아 보겠습니다.
Kaggle 계정 만들기
Kaggle에서 데이터를 다운 받으려면 먼저 계정을 생성해야 합니다. 생성 방법은 다음과 같습니다.
- Kaggle 웹사이트 방문: 웹 브라우저를 열고 www.kaggle.com 으로 이동합니다.
- 가입 또는 로그인: Kaggle을 처음 사용하는 경우 “가입” 버튼을 클릭하세요. 만약, 계정이 있다면 로그인하시면 됩니다.
- 프로필 작성: 메시지에 따라 Kaggle 프로필을 작성합니다. 프로필 사진을 업로드하고 자신에 대한 정보를 제공합니다. 이는 Kaggle 커뮤니티와 연결하는 데 많은 도움이 됩니다.
Kaggle 데이터세트 살펴보기
로그인하면 Kaggle에서 사용할 수 있는 다양한 데이터 세트 탐색이 가능합니다. 방법은 다음과 같습니다.
- “Datasets” 섹션으로 이동: 메뉴 표시줄에서 “Datasets” 탭을 클릭합니다. 그러면 데이터 세트를 검색하고 찾아볼 수 있는 페이지로 이동하게 됩니다.
- 데이터세트 검색: 검색창(Search datasets)을 사용하여 관심분야와 관련된 특정 주제나 키워드로 검색합니다. (Ex. ‘COVID-19’, ‘붓꽃’, ‘주택 가격’ 등)
- 결과 필터링: 페이지 왼쪽에서 파일 형식, 라이선스, 주제 등 다양한 기준으로 데이터세트를 필터링할 수 있습니다. 초보자의 경우 무료 리소스에 접근하려면 “Public” 데이터 세트를 선택하는 것이 좋습니다.
- 데이터 세트 찾아보기 및 선택: 관심을 끄는 데이터 세트를 클릭하여 자세히 알아봅니다. 데이터 세트에 대한 설명, 다운로드 수 및 관련 정보를 찾을 수 있습니다.
데이터 세트 다운로드
분석하고 싶은 데이터 세트를 찾았으면 이를 컴퓨터에 다운로드하면 됩니다.
- 데이터세트 접근: 데이터세트 페이지에 있는 ‘download’ 버튼을 클릭합니다.
- 파일 형식 선택: Kaggle은 일반적으로 CSV, JSON 또는 SQLite와 같은 다양한 형식의 데이터세트를 제공합니다.
단순화를 위해 데이터 분석에 널리 사용되는 형식인 CSV를 선택합니다. - 약관 동의: 일부 데이터세트에는 특정 이용약관을 함께 제공합니다. 필요한 경우 이 약관을 읽고 동의합니다.
- 데이터세트 다운로드: 브라우저에 데이터세트 파일을 다운로드하라는 메시지가 표시됩니다. 컴퓨터에서 저장하려는 위치를 선택하고 “저장”을 클릭합니다.
데이터 접근 및 분석
이제 데이터 세트가 컴퓨터에 다운로드 되었습니다. Python, R, 심지어 Excel과 같은 다양한 도구와 프로그래밍 언어를 사용하여 데이터를 탐색하고 분석할 수 있습니다.
결론
Kaggle에서 무료 데이터 세트를 찾고 다운로드하는 것은 데이터 분석가에게 매우 중요합니다. 이러한 간단한 단계를 따르면 데이터 분석 기술을 구축하기 위한 첫 번째 흥미로운 단계를 밟게 됩니다. 계속 탐구하고, 배우고, 연습하면 데이터 분석을 마스터하는 데 큰 도움이 될 것입니다.
다음 단계인 “데이터 탐색”를 수행하고 분석을 하려면, 데이터 분석 도구가 필요합니다. 요즈음 가장 많이 사용하는 Python을 활용할 예정이며, 이를 위해 아나콘다를 설치하겠습니다.
아나콘다를 설치하는 방법이 궁금하시면, 아나콘다 설치 방법 알아보기 포스팅 글을 참고하시면 됩니다. 다음 포스팅에서는 세번째 단계인 “데이터 탐색”에 대해서 알아보겠습니다.
감사합니다.