큰 데이터를 가지고 pandas로 작업하다보면 연산속도가 많이 느려지는 것을 느낄때가 있다. 이때, 불필요하게 많이 쓰는 메모리를 줄여주면 작업속도를 향상시킬 수 있다. 메모리는 줄이는 방법은 데이터프래임의 type을 메모리를 좀 더 적게쓰는 type으로 직접 변경해주면 되는데, 직접하기 귀찮다면 아래 함수를 복붙해서 쓰면 된다. - 가상으로 천만개의 행을 가진 데이터 프레임을 생성해서 전후 비교 < 결과 > 메모리가 많이 줄어든 것을 확인할 수 있다. - type 변경 확인 - 간단한 그룹별 연산처리로 속도 비교하기 (groupby + agg 연산에 관한건 아래블로그 참고)...
Pandas, 작업속도 향상시키기 (reduce memory)에 대한 요약내용입니다.
자세한 내용은 아래에 원문링크를 확인해주시기 바랍니다.
원문링크 : Pandas, 작업속도 향상시키기 (reduce memory)
네이버 블로그
티스토리
커뮤니티