Pandas DataFrame에서 다중 처리 사용

Mehvish Ashiq 2024년2월15일

Pandas Pandas DataFrame

다중 처리 소개
다중 처리 사용의 중요성
Pandas DataFrame에서 다중 처리 사용

이 자습서에서는 Python의 다중 처리를 소개하고 코드 예제와 그래픽 표현을 사용하여 교육합니다. 또한 다중 처리의 중요성을 강조하고 Pandas 데이터 프레임과 함께 다중 처리 모듈을 사용하는 방법을 보여줍니다.

다중 처리 소개

멀티프로세싱이란 시스템이 동시에 여러 프로세서를 지원할 수 있는 기능을 갖는 것을 의미합니다. 다중 처리에서 응용 프로그램은 독립적으로 또는 덜 독립적으로 실행될 수 있는 더 작은 루틴으로 분할됩니다.

운영 체제는 이러한 스레드를 다른 프로세서에 할당하여 시스템 성능을 향상시킵니다. 어떻게? 다음의 간단한 프로그램을 통해 이해해 보자.

예제 코드:

import time

start = time.perf_counter()


def print_something():
    print("Sleeping for 1 second.")
    time.sleep(1)
    print("Done with sleeping.")


print_something()
finish = time.perf_counter()
print(f"Completed in {round(finish-start,2)} second(s)")

출력:

Sleeping for 1 second.
Done with sleeping.
Completed in 1.01 second(s)

코드 펜스에서 스크립트 실행에 걸리는 시간을 측정하는 데 사용할 time 모듈을 먼저 가져왔기 때문에 위의 출력이 올바르게 들립니다. 이를 측정하기 위해 start = time.perf_counter() 및 finish = time.perf_counter()를 사용하여 시작 및 종료 시간을 계산했습니다.

우리는 또한 무엇인가를 인쇄하고, 1초 동안 잠자고, 또 다른 문장을 인쇄하는 print_something()이라는 함수를 가지고 있습니다. 우리는 이 함수를 호출하고 마지막으로 스크립트를 완성했음을 보여주는 마지막 문장을 인쇄합니다.

이제 print_something()을 두 번 실행하면 거의 2초가 걸립니다. 아래에서 확인할 수 있습니다.

예제 코드:

import time

start = time.perf_counter()


def print_something():
    print("Sleeping for 1 second.")
    time.sleep(1)
    print("Done with sleeping.")


print_something()
print_something()

finish = time.perf_counter()
print(f"Completed in {round(finish-start,2)} second(s)")

출력:

Sleeping for 1 second.
Done with sleeping.
Sleeping for 1 second.
Done with sleeping.
Completed in 2.02 second(s)

이제 프로그램은 1초 동안 두 번 잠자기 때문에 스크립트를 완료하는 데 거의 2초가 걸립니다.

따라서 이 print_something() 함수를 실행할 때마다 스크립트에 약 1초가 추가되는 것을 볼 수 있습니다. 우리의 스크립트는 1초 동안 대기하다가 다음 함수로 이동하고 또 다른 1초를 기다립니다.

그런 다음 그 시점에서 작업이 완료되고 스크립트가 완료됩니다. 다음 그래픽 표현을 통해 이해할 수 있습니다.

python은 pandas 데이터 프레임에서 다중 처리 사용 - 그래픽 표현 1

이 그래픽 표현은 우리가 함수(이 경우 print_something())를 실행하고, 1초 동안 기다렸다가 함수를 다시 실행한 다음 또 다른 초를 기다리고 완료되면 최종 print를 인쇄함을 보여줍니다. 우리가 끝났다는 것을 보여주는 진술.

위의 그래픽 표현에서 볼 수 있듯이 이 순서로 스크립트를 실행하는 것을 동기식 실행이라고 합니다.

이제 동기식으로 실행할 필요가 없는 작업이 있는 경우 multiprocessing 모듈을 사용하여 이러한 작업을 다른 CPU로 분할하고 동시에 실행할 수 있습니다.

멀티스레딩은 멀티프로세싱과 같지 않습니다. 여기에서 차이점을 찾을 수 있습니다.

multiprocessing 모듈을 사용하려는 경우 그래픽 표현은 다음과 같습니다.

python은 pandas 데이터 프레임에서 다중 처리 사용 - 그래픽 표현 2

여기에는 여전히 두 가지 작업이 있지만 이를 서로 다른 프로세스에서 동시에 실행되는 두 개의 프로세스로 나눕니다. 이제 다음과 같이 프로그램에서 이 그래픽 표현을 구현해 보겠습니다.

import multiprocessing
import time


start = time.perf_counter()


def print_something():
    print("Sleeping for 1 second.")
    time.sleep(1)
    print("Done with sleeping.")


process1 = multiprocessing.Process(target=print_something)
process2 = multiprocessing.Process(target=print_something)

process1.start()
process2.start()

process1.join()
process2.join()

finish = time.perf_counter()
print(f"Completed in {round(finish-start,2)} second(s)")

출력:

Sleeping for 1 second.
Done with sleeping.
Sleeping for 1 second.
Done with sleeping.
Completed in 1.02 second(s)

이제 볼 수 있듯이 스크립트는 2초가 아닌 1초가 걸립니다. 위의 스크립트는 몇 가지 수정 사항을 제외하고 이전 스크립트와 유사합니다.

프로세스 생성에 사용할 multiprocessing 모듈을 가져왔습니다. 그런 다음 multiprocessing.Process(target=print_something)을 사용하여 두 개의 프로세스를 만들고 process1 및 process2에 저장합니다.

그런 다음 process1.start() 및 process2.start()를 사용하여 두 프로세스를 모두 시작합니다. 우리는 .join() 메서드를 사용하여 프로세스를 완료하기 전에 나머지 스크립트를 실행하지 않도록 했습니다.

즉, .join() 메소드를 생략하면 프로세스가 완료되기 전에 다음 두 명령문이 실행됩니다.

finish = time.perf_counter()
print(f"Completed in {round(finish-start,2)} second(s)")

다음 예제 코드를 사용하여 배울 수 있습니다.

import multiprocessing
import time


start = time.perf_counter()


def print_something():
    print("Sleeping for 1 second.")
    time.sleep(1)
    print("Done with sleeping.")


process1 = multiprocessing.Process(target=print_something)
process2 = multiprocessing.Process(target=print_something)

process1.start()
process2.start()

# process1.join()
# process2.join()

finish = time.perf_counter()
print(f"Completed in {round(finish-start,2)} second(s)")

출력:

Completed in 0.01 second(s)
Sleeping for 1 second.
Done with sleeping.
Sleeping for 1 second.
Done with sleeping.

보시다시피 Sleeping 및 Done 문 앞에 Completed 문을 인쇄합니다. 이를 방지하기 위해 .join() 메서드를 사용할 수 있습니다.

다중 처리 사용의 중요성

하나의 프로세서가 있는 기계(PC/노트북)가 있다고 가정합니다. 여러 프로세스를 동시에 할당하면 모든 프로세스를 계속 실행하기 위해 모든 작업을 방해하거나 중단하고 한 프로세스에서 다른 프로세스로 전환해야 합니다.

여기에서 멀티프로세싱의 개념이 등장합니다. 멀티프로세싱 컴퓨터는 여러 개의 중앙 프로세서(멀티프로세서) 또는 코어(멀티코어 프로세서)라고 하는 두 개 이상의 독립적인 실제 처리 장치가 있는 하나의 컴퓨팅 구성 요소를 가질 수 있습니다.

여기에서 CPU는 여러 작업을 동시에 쉽게 실행하며 각 작업은 해당 프로세스를 사용합니다. 이런 식으로 프로그램 속도를 높이고 많은 시간과 비용을 절약할 수 있습니다.