在PHP中使用array_pop + yield實(shí)現(xiàn)讀取超大型目錄功能示例

php  /  管理員 發(fā)布于 10個(gè)月前   470

在php中需要讀取處理一個(gè)超大型目錄，該單目錄有200G大小;

一般常規(guī)做法是: 

使用遞歸實(shí)現(xiàn)，不過(guò)讀取到的路徑數(shù)組非常大,配置不行的機(jī)器分分鐘內(nèi)存溢出.

看看常規(guī)遞歸實(shí)現(xiàn)代碼:

function recursiveScan($dir) {
    $files = [];
    $items = scandir($dir);
    foreach ($items as $item) {
        if ($item == '.' || $item == '..') {
            continue;
        }
        $path = $dir . '/' . $item;
        if (is_dir($path)) {
            $files = array_merge($files, recursiveScan($path)); // 遞歸讀取子目錄
        } else {
            $files[] = $path;
        }
    }
    return $files;
}
$directory = '/path/to/directory';
$files = recursiveScan($directory);
foreach ($files as $file) {
    echo $file . PHP_EOL;
}

以上是很常見(jiàn)的做法，讀取小文件夾沒(méi)問(wèn)題，但是大文件夾會(huì)超出內(nèi)存

優(yōu)化解決思路：

1、在這個(gè)優(yōu)化后的函數(shù)中，我們將 traverseFolder 函數(shù)改為生成器函數(shù)，并使用 yield $path; 

逐步生成文件路徑。

這樣在調(diào)用這個(gè)函數(shù)時(shí)，可以逐步處理文件而不是一次性返回所有文件路徑。

這種方式可以減少內(nèi)存占用，并在需要時(shí)逐個(gè)獲取文件路徑。

2、不使用遞歸這種耗資源的方式， 使用 array_pop 棧的思路來(lái)模擬迭代

改進(jìn)過(guò)的方法如下，非常的節(jié)省內(nèi)存，

默認(rèn) 128m 的配置即可讀取超大目錄：

優(yōu)化示例代碼:

function traverseFolder($folder) {
    $stack = [$folder]; // 使用棧來(lái)模擬迭代
    $ext_map = $this->config('ext_map');
    $ext_map_arr = explode("\n", $ext_map);
    while (!empty($stack)) {
        $currentFolder = array_pop($stack);
        $handle = opendir($currentFolder);
        while (($file = readdir($handle)) !== false) {
            if ($file != '.' && $file != '..') {
                $path = $currentFolder . '/' . $file;
                if (is_dir($path)) {
                    $stack[] = $path;
                } else {
                    yield $path; // 生成器函數(shù)逐步生成文件路徑
                }
            }
        }
        closedir($handle);
    }
}

調(diào)用示例:

使用就直接用foreach循環(huán)上面的結(jié)果， 返回$path即可;

這樣就可以輕松讀取 200G 甚至 2T 的文件夾了.