Search
Duplicate

Laravel Lazy Collections를 이용한 대규모 데이터셋 마스터하기

대규모 데이터셋을 효율적으로 처리하는 것은 확장 가능한 웹 애플리케이션을 개발하는 데 있어 핵심 요소 중 하나입니다. Laravel에서 컬렉션은 항상 데이터 조작을 위한 강력한 도구였습니다. 그러나 대규모 데이터셋을 다룰 때, 일반 컬렉션은 빠르게 메모리 고갈과 성능 병목 현상을 초래할 수 있습니다. 이때 Laravel Lazy Collections가 등장하여 애플리케이션의 성능을 저하시키지 않고 대량의 데이터를 처리할 수 있는 메모리 효율적인 대안을 제공합니다.

Lazy Collections이란 무엇인가?

정의와 개념

Laravel의 Lazy Collections는 PHP 제너레이터를 활용하여 데이터를 점진적으로 가져오고 처리하는 특수한 유형의 컬렉션입니다. 모든 데이터를 한 번에 메모리에 로드하는 일반 컬렉션과 달리, Lazy Collections는 필요할 때만 값을 생성합니다. 이러한 지연 평가 프로세스는 특히 대규모 데이터셋을 다룰 때 애플리케이션이 메모리를 더 효율적으로 사용할 수 있도록 보장합니다.
Lazy Collections는 Laravel 6에서 도입되었으며, 이후 서버의 메모리를 과부하하지 않고 대규모 데이터셋을 다뤄야 하는 개발자들에게 중요한 도구가 되었습니다. PHP 제너레이터 함수를 래핑함으로써, Lazy Collections는 한 번에 하나씩 데이터를 반복할 수 있게 해주어 필요한 데이터만 메모리에 로드되도록 합니다.

Lazy Collections의 작동 방식

Lazy Collections의 핵심에는 PHP 제너레이터가 있습니다. 제너레이터 함수는 한 번에 하나씩 값을 생성할 수 있게 해주며, 다음 값이 요청될 때까지 실행을 일시 중지합니다. 이는 모든 데이터를 즉시 메모리에 저장하는 일반 컬렉션과는 크게 대조됩니다.
Lazy Collection을 사용할 때, 본질적으로 실시간으로 생성되는 일련의 데이터 포인트와 작업하게 됩니다. 이는 처리 중인 데이터셋의 크기에 관계없이 애플리케이션의 메모리 사용량이 작게 유지됨을 의미합니다.
예를 들어, 다음 코드를 살펴보세요:
use Illuminate\Support\LazyCollection; $collection = LazyCollection::make(function () { $number = 1; while (true) { yield $number++; } }); $firstTenNumbers = $collection->take(10);
PHP
복사
이 스니펫에서는 제너레이터 함수를 사용하여 무한한 숫자 시퀀스를 생성합니다. 하지만 Lazy Collections 덕분에 전체 시퀀스를 생성하지 않고도 처음 10개의 숫자만 사용할 수 있어 메모리를 절약할 수 있습니다.

Lazy Collections의 주요 특징

메모리 효율성

Lazy Collections 사용의 가장 큰 장점은 메모리 효율성입니다. 필요할 때만 값을 생성함으로써, Lazy Collections는 서버가 불필요한 데이터를 메모리에 로드하는 것을 방지합니다. 이는 특히 대규모 데이터베이스 작업이나 모든 레코드를 한 번에 로드하는 것이 비현실적인 데이터 내보내기 작업에서 유용합니다.
예를 들어, 데이터베이스에서 대량의 레코드를 처리해야 하는 경우, 일반 컬렉션을 사용하면 애플리케이션의 메모리가 부족해질 수 있습니다. Lazy Collections를 사용하면 이러한 레코드를 점진적으로 처리할 수 있어 메모리 부하를 줄이고 전반적인 애플리케이션 성능을 향상시킬 수 있습니다.

컬렉션 메서드와의 원활한 통합

Lazy Collections의 가장 인상적인 측면 중 하나는 Laravel의 풍부한 컬렉션 메서드들과 원활하게 통합된다는 점입니다. filter, map, chunk 등의 익숙한 메서드를 사용할 수 있으며, 동시에 지연 평가 프로세스의 이점을 누릴 수 있습니다.
다음은 이러한 통합을 보여주는 예시입니다:
$users = \App\User::cursor()->filter(function ($user) { return $user->id > 1000; }); foreach ($users as $user) { echo $user->id; }
PHP
복사
이 코드에서는 cursor() 메서드를 사용하여 Lazy Collection을 반환한 다음, filter를 적용하여 ID가 1000보다 큰 사용자만 처리합니다. 데이터는 점진적으로 처리되어 모든 사용자를 한 번에 메모리에 로드하지 않습니다.

대규모 데이터셋 처리

Lazy Collections은 대규모 데이터셋을 처리할 때 빛을 발합니다. 수백만 개의 레코드가 포함된 데이터베이스를 다루거나 대용량 로그 파일을 처리할 때, Lazy Collections를 사용하면 메모리 고갈 걱정 없이 데이터를 반복할 수 있습니다.
예를 들어, 애플리케이션에서 대량의 데이터를 CSV 파일로 내보내야 하는 경우, Lazy Collections를 사용하면 모든 데이터를 메모리에 로드하지 않고도 파일로 스트리밍할 수 있습니다. 이는 대규모 데이터셋을 다룰 때 큰 이점으로, 애플리케이션의 응답성을 유지하고 메모리 관련 오류의 위험을 줄일 수 있습니다.

대용량 파일 스트리밍

Lazy Collections의 또 다른 실용적인 응용은 대용량 파일을 읽고 처리하는 것입니다. 대용량 로그 파일이나 여러 기가바이트에 걸친 데이터셋을 다룰 때 전체 파일을 메모리에 로드하는 것은 현실적으로 불가능합니다. 대신 Lazy Collection을 사용하여 파일을 한 줄씩 읽고, 읽은 각 줄을 처리할 수 있습니다.
다음은 Lazy Collections를 사용하여 대용량 로그 파일을 읽는 방법입니다:
use Illuminate\Support\LazyCollection; $fileLogs = LazyCollection::make(function () { $fileHandle = fopen('./logfile.txt', 'r'); while (($fileLine = fgets($fileHandle)) !== false) { yield $fileLine; } }); foreach ($fileLogs as $fileLine) { echo $fileLine . '<br>'; }
PHP
복사
이 예제에서 Lazy Collection은 로그 파일을 점진적으로 읽어 한 줄씩 생성합니다. 이 접근 방식은 매우 큰 파일을 처리할 때도 애플리케이션의 효율성을 유지할 수 있게 해줍니다.

실용적인 사용 사례

예시 1: 대규모 데이터베이스 레코드 처리

Lazy Collections이 매우 유용할 수 있는 실용적인 사용 사례를 살펴보겠습니다: 대규모 데이터베이스 레코드 세트 처리. 데이터베이스에서 사용자 목록을 CSV 파일로 내보내야 한다고 가정해 봅시다. 데이터베이스에 수십만 명의 사용자가 있다면, 이들을 한 번에 모두 메모리에 로드하는 것은 서버에 쉽게 부담을 줄 수 있습니다.
다음은 Lazy Collections를 사용하여 이 시나리오를 처리하는 방법입니다:
use Illuminate\Support\Facades\DB; use Illuminate\Support\LazyCollection; $users = DB::table('users')->cursor(); $handle = fopen('users.csv', 'w'); $users->each(function ($user) use ($handle) { fputcsv($handle, (array) $user); }); fclose($handle);
PHP
복사
이 예제에서 cursor() 메서드는 Lazy Collection을 반환하여 사용자 레코드를 한 번에 하나씩 반복할 수 있게 해줍니다. 각 사용자가 처리됨에 따라 그들의 데이터는 CSV 파일에 기록됩니다. 이 방법은 데이터베이스에 얼마나 많은 사용자가 있든 메모리 사용량을 낮게 유지할 수 있습니다.

예시 2: 대용량 로그 파일 읽기

또 다른 일반적인 사용 사례는 대용량 로그 파일을 읽는 것입니다. 로그 파일은 특히 고트래픽 애플리케이션에서 매우 크게 성장할 수 있습니다. 서버의 메모리를 과부하하지 않고 이러한 파일을 처리하는 것은 어려울 수 있습니다.
다음은 Lazy Collections를 사용하여 대용량 로그 파일을 읽고 처리하는 방법입니다:
use Illuminate\Support\LazyCollection; $fileLogs = LazyCollection::make(function () { $fileHandle = fopen('./large-log-file.txt', 'r'); while (($fileLine = fgets($fileHandle)) !== false) { yield $fileLine; } }); $filteredLogs = $fileLogs->filter(function ($line) { return strpos($line, 'ERROR') !== false; }); foreach ($filteredLogs as $line) { echo $line . '<br>'; }
PHP
복사
이 예제에서 Lazy Collection은 로그 파일을 점진적으로 읽고 "ERROR"라는 단어를 포함한 줄만 필터링합니다. 이 방법을 사용하면 전체 파일을 메모리에 로드하지 않고도 대용량 로그 파일을 효율적으로 처리할 수 있습니다.

Lazy Collections 구현 방법

Cursor 메서드 사용하기

Laravel에서 Lazy Collections를 구현하는 가장 일반적인 방법은 Eloquent에서 제공하는 cursor() 메서드를 사용하는 것입니다. cursor() 메서드는 Lazy Collection을 반환하여 데이터베이스 레코드를 한 번에 하나씩 반복할 수 있게 해줍니다.
다음은 cursor() 메서드를 사용하는 예시입니다:
$users = \App\User::cursor(); foreach ($users as $user) { echo $user->name; }
PHP
복사
이 코드에서 cursor() 메서드는 사용자 레코드를 지연 로딩 방식으로 가져옵니다. 즉, 한 번에 하나의 사용자 레코드만 메모리에 로드됩니다. 이 접근 방식은 특히 대규모 데이터셋을 다룰 때 유용합니다.

사용자 정의 Lazy Collections 만들기

cursor() 메서드를 사용하는 것 외에도, LazyCollection::make 메서드를 사용하여 사용자 정의 Lazy Collections를 만들 수 있습니다. 이 메서드를 사용하면 값을 한 번에 하나씩 생성하는 제너레이터 함수를 정의할 수 있습니다.
다음은 사용자 정의 Lazy Collection을 만드는 방법입니다:
use Illuminate\Support\LazyCollection; $collection = LazyCollection::make(function () { $number = 1; while (true) { yield $number++; } }); $firstTenNumbers = $collection->take(10);
PHP
복사
이 예시에서 제너레이터 함수는 무한한 숫자 시퀀스를 생성하지만, Lazy Collections 덕분에 쉽게 처음 10개의 숫자로 시퀀스를 제한할 수 있습니다. 이는 특정 요구 사항에 맞는 사용자 정의 Lazy Collections를 만드는 강력한 기술입니다.

모범 사례 및 고려 사항

Lazy Collections을 사용해야 할 때

Lazy Collections는 한 번에 메모리에 로드할 수 없는 대규모 데이터셋을 다룰 때 탁월한 선택입니다. 데이터 내보내기, 대용량 파일 처리, 대규모 데이터베이스 레코드 작업과 같은 작업에 특히 유용합니다.
그러나 트레이드오프를 고려하는 것이 중요합니다. Lazy Collections가 상당한 메모리 절약을 제공하지만, 작은 데이터셋이나 모든 데이터를 한 번에 메모리에 로드해야 하는 복잡한 작업을 수행할 때는 최선의 선택이 아닐 수 있습니다.

성능 고려 사항

Lazy Collections는 메모리 효율성을 위해 설계되었지만, 지연 평가의 특성으로 인해 약간의 성능 오버헤드가 발생할 수 있습니다. Lazy Collection에서 값이 요청될 때마다 제너레이터 함수가 호출되어야 하므로 처리 시간이 약간 추가될 수 있습니다. 그러나 이는 일반적으로 달성된 메모리 절약에 비해 무시할 만한 수준입니다.
성능을 최대화하려면 Lazy Collections를 eager 로딩 및 쿼리 최적화와 같은 다른 Laravel 최적화 기술과 결합하는 것을 고려해보세요.

결론

Laravel Lazy Collections는 대규모 데이터셋을 효율적으로 처리하기 위한 강력한 도구입니다. PHP 제너레이터를 활용하여 Lazy Collections는 서버의 메모리를 고갈시키지 않고 대량의 데이터를 처리할 수 있게 해주어, 데이터 집약적인 애플리케이션을 다루는 개발자들에게 필수적인 기능이 됩니다.

추가 자료

다른 언어로 읽기:

작가 후원하기:

제 기사가 마음에 드셨다면, 커피 한 잔으로 응원해 주세요!