코드품질향상을 위한 Python Skill 활용

import re
from unidecode import unidecode

def rename_columns(df):
"""모든 DataFrame의 열 이름을 snake_case 패턴으로 표준화
"""
for col in df.columns:
    newColName = re.sub('\W','',unidecode(col.lower().strip().replace(' ','_')))
    df.rename(columns = {col:newColName}, inplace = True)

# 코드 이해하기
# re.sub('\W','','string!@#') -- 영숫자가 아닌 문자 제거하여 'string' 반환
# unidecode('áçê') -- 악센트 및 특수 문자 제거하여 'áçê'' 반환
# 'STRING'.lower() -- 소문자로 변환하여 'string' 반환
# ' string '.strip() -- 문자열의 시작과 끝에서 공백 제거하여 '문자열' 반환
# 'my string'.replace(' ','_') -- ' '를 모두 '_'로 변경하여 'my_string' 반환

import sys
print(sys.path)
-----------------
['C:\\Users\\82108',
 'C:\\Users\\82108\\anaconda3\\python39.zip',
 'C:\\Users\\82108\\anaconda3\\DLLs',
 'C:\\Users\\82108\\anaconda3\\lib',
 'C:\\Users\\82108\\anaconda3',
 '',
 'C:\\Users\\82108\\anaconda3\\lib\\site-packages',
 'C:\\Users\\82108\\anaconda3\\lib\\site-packages\\locket-0.2.1-py3.9.egg',
 'C:\\Users\\82108\\anaconda3\\lib\\site-packages\\win32',
 'C:\\Users\\82108\\anaconda3\\lib\\site-packages\\win32\\lib',
 'C:\\Users\\82108\\anaconda3\\lib\\site-packages\\Pythonwin',
 'C:\\Users\\82108\\anaconda3\\lib\\site-packages\\IPython\\extensions',
 'C:\\Users\\82108\\.ipython']

# 함수 호출
my_first_module.rename_columns(any_df)

import pandas as pd
from faker import Faker

# Faker 객체 생성
fake = Faker()

# 가짜 데이터를 생성하기 위한 많은 옵션들
fake.name()
fake.text()
fake.address()
fake.email()
fake.date()
fake.country()
fake.phone_number()
fake.random_number(digits=5)

# 가짜 데이터 프레임 생성하기
fakerDf = pd.DataFrame({'date':[fake.date() for i in range(10)],
    'name':[fake.name() for i in range(10)],
    'email':[fake.email() for i in range(10)],
    'text':[fake.text() for i in range(10)]})
fakerDf

age = 29
print(f'My age is {age}')
-----------------------------
My age is 29

# f-string의 포맷 예시

number = 12.343562135
percentage_number = 0.33
high_number = 12349000212452

print(f'Printing without formatting: {number}'
    f'\nPrinting the var name: {number = }'
    f'\nShowing two decimal places: {number:.2f}'
    f'\nChanging characters wide: {number:30}'
    f'\nForces center alignment: {number:^30}'
    f'\nFill white spaces: {number:=^30}'
    f'\nPrinting percentages: {percentage_number:.2%}'
    f'\nShowing two decimal places with comma: {high_number:,.2f}'
    f'\nPrinting two decimal places with scientific notation: {high_number:.2e}'
    )
------------------------------------------------------------------------------------
Printing without formatting: 12.343562135
Printing the var name: number = 12.343562135
Showing two decimal places: 12.34
Changing characters wide:                   12.343562135
Forces center alignment:          12.343562135         
Fill white spaces: =========12.343562135=========
Printing percentages: 33.00%
Showing two decimal places with comma: 12,349,000,212,452.00
Printing two decimal places with scientific notation: 1.23e+13

import time

def any_func_with_loop():
"""로딩바를 이용한 함수 예시
"""

    listToLoop = [i for i in range(333)]
    tStart = time.perf_counter()
    percentageCounter = 0
    loopCounter = 0

    for item in listToLoop:

        # 코드 입력

        time.sleep(0.3)

        # 실행 진행 상황을 추적하는 코드
        loopCounter+=1
        percentage = round(100*(loopCounter)/len(listToLoop),0)
        if percentage%10 == 0:
            if percentageCounter != percentage: # 반올림된 %의 두 번 출력 방지
                tProv = time.perf_counter()
                    timeElapsed = tProv - tStart
        timeEstimated = (100*timeElapsed/percentage)-timeElapsed
        print(f'Status: {percentage:.0f}% Completed! -> '
            f'Elapsed time:{timeElapsed:.2f}s or {timeElapsed/60:.2f}min. | '
            f'Estimated time: {timeEstimated:.2f}s or {timeEstimated/60:.2f}min')
        percentageCounter = percentage # 출력된 마지막 백분율 저장

any_func_with_loop()
----------------------------------------------------------------------------------------------
Status: 10% Completed! -> Elapsed time:9.84s or 0.16min. | Estimated time: 88.57s or 1.48min
Status: 20% Completed! -> Elapsed time:20.00s or 0.33min. | Estimated time: 79.99s or 1.33min
Status: 30% Completed! -> Elapsed time:30.47s or 0.51min. | Estimated time: 71.10s or 1.19min
Status: 40% Completed! -> Elapsed time:40.63s or 0.68min. | Estimated time: 60.94s or 1.02min
Status: 50% Completed! -> Elapsed time:50.78s or 0.85min. | Estimated time: 50.78s or 0.85min
Status: 60% Completed! -> Elapsed time:61.24s or 1.02min. | Estimated time: 40.83s or 0.68min
Status: 70% Completed! -> Elapsed time:71.43s or 1.19min. | Estimated time: 30.61s or 0.51min
Status: 80% Completed! -> Elapsed time:81.65s or 1.36min. | Estimated time: 20.41s or 0.34min
Status: 90% Completed! -> Elapsed time:92.09s or 1.53min. | Estimated time: 10.23s or 0.17min
Status: 100% Completed! -> Elapsed time:102.27s or 1.70min. | Estimated time: 0.00s or 0.00min

def analyse_df(df, corr_limit = 0.75):
    """모든 데이터 프레임 및 출력 결과 분석
    * 행 및 열의 수 확인, 중복 행 확인, 메모리 사용량, 데이터 유형, df.describe()호출
    * 모든 열에 대한 결측값 체크하여 숫자 혹은 비율로 반환
    * 열 상호간의 선형 상관관계 체크하여 반환(피어슨의 상관계수)
    Keyword arguments:
    df -- 임의의 데이터 프레임
    corr_limit -- 상관성 유무를 판단하는 기본 수치 0.75로 정의
    """   

    print('일반적인 정보:')
    print(f'{df.shape[0]} 행 {df.shape[1]} 수'
          f'\n{df.duplicated().sum()} 중복 열의 수'
          f'\n메모리 사용량: {df.memory_usage().sum()/(1024*1024):.2f}Mb')
    
    # 데이터 유형 체크
    int_list, float_list,object_list,bool_list,other_list =[[] for i in range(5)]
    for col in df.columns:
        if df[col].dtype == 'int64':
            int_list.append(col)
        elif df[col].dtype == 'float64':
            float_list.append(col)
        elif df[col].dtype == 'object':
            object_list.append(col)
        elif df[col].dtype == 'boolean':
            bool_list.append(col)
        else:
            other_list.append(col)
            
    for type_list,data_type in zip([int_list, float_list,object_list,bool_list,other_list],
                                   ['int64','float64','object','boolean','other']):
        if len(type_list)>0:
            print(f'\feature {data_type}: {type_list}')
            
    # 기술통계량 수치확인
    display(df.describe())
    
    # 각 칼럼에 대한 결측값 체크
    print('\n결측치 체크:')
    col_with_missing_counter = 0
    for col in df.columns:
        qnt_missing = df[col].isna().sum()
        if qnt_missing > 0:
            col_with_missing_counter +=1
            print(f'feature "{col}" 는 {qnt_missing}개의 결측치가 있습니다.({qnt_missing/df.shape[0]:.2%})')
    if col_with_missing_counter ==0 :
        print('데이터 셋에는 결측치가 없습니다.')
        
    # 열 간의 선형 상관관계 체크
    print('\n상관관계 체크:')
    df_corr = df.corr() # 열 간 상관관계를 나타내는 데이터 프레임
    ckecked_list =[] # 동일한 정보의 중복 출력 방지
    cols_with_correlation_counter = 0
    for col in df_corr.columns:
        ckecked_list.append(col)
        for i in range(len(df_corr)):
            if ((df_corr[col][i] > corr_limit or df_corr[col][i] < -corr_limit) and
                (df_corr.index[i] not in ckecked_list)):
                cols_with_correlation_counter += 1
                print(f'{df_corr.index[i]} 와 {col}의 상관계수 -> 피어슨의 상관계수 = {df_corr[col][i]:.2f}')         
    if cols_with_correlation_counter == 0:
        print('열 간의 상관관계는 없습니다.')