如何用python批量处理

发布网友发布时间：2022-04-28 05:03

我来回答

共3个回答

懂视网时间：2022-04-28 09:25

【相关学习推荐：python教程】

前言

在我对项目组的一些训练图像进行预处理的时候，发现处理的图像是分好了类，在文件夹里的文件夹里，套娃式存储的，所以对我批处理，以及按原文件夹规则进行存储的时候，就会造成很大困扰
但通过下面几个函数的结合，帮我顺利的完成了一系列的预处理。

一、用不腻的芷山库

1.安装库

pip安装：

pip install zisan

2.getFiles函数

函数调用：

import zisan.FileTools as zf
file_path = 'C:/Users/xxx/Desktop/2016/Annotations'
whole_file = zf.getFiles(file_path)

图片存储在：件夹2016 -> 文件夹Annotations ->子文件夹 -> 00000.png
通过getFiles函数，可以将Annotations中的所有文件夹里的所有图片路径调出来

也就是说，getFiles函数是将文件夹里面的所有文件路径调出来，不管中间有无子文件夹

二、其他函数

1.os.listdir函数

该函数调用后会返回路径底下文件夹的名称，以字符串的形式储存在列表里

代码如下：

import os
file_path = 'C:/Users/xxx/Desktop/2016/Annotations'
file_names = os.listdir(file_path)
print(file_names)

效果：

2.os.mkdir函数

代码：

import os
new_file_path = 'C:/Users/xxx/Destop/2016/newfile'
os.mkdir(new_file_path)

用于创建新文件夹

三、运用

要求：处理Annotations文件夹中的每个子文件夹中的图片，并按原本的规则存储在newfile新文件夹里的相应位置，命名规则如00000.jpg

import zisan.FileTools as zf
import os
import cv2
from skimage import io

file_path = 'C:/Users/xxx/Desktop/2016/Annotations'
new_file_path = 'C:/Users/xxx/Destop/2016/newfile'

file_names = os.listdir(file_path)
#获取Annotations文件夹的子文件夹名称

for i in file_names: #遍历每个子文件夹名称
 Index = 0
 file_name = file_path + '/' + i #巧妙运用+号得到改子文件夹的路径
 os.mkdir(new_file_path + '/' + i) #在newfile里创建一个与子文件夹名称相同的文件夹
 whole_pic = zf.getFiles(file_name) #用getFiles函数读取子文件夹内的图片路径
 for f in whole_pic:
 msk = io.imread(f)
		msk=cv2.cvtColor(msk,cv2.COLOR_RGBA2GRAY)
 msk[np.where(msk!=0)]=255
 io.imsave(new_file_path + '/' + i + '/' + str("%05d" % Index) + '.jpg' , msk)
 #处理命名可直接+'.jpg'让其以jepg形式存储
 Index += 1

这就是我解决文件夹处理问题的基本思路和流程，各个函数可以搭配使用，放入循环外或内根据具体要求都有着不同的效果。

热心网友时间：2022-04-28 06:33

def GetFileList(dir, fileList,notdeal=[]):
    newDir = dir    if os.path.isfile(dir):
        fileList.append(dir)    elif os.path.isdir(dir):        for s in os.listdir(dir):            #如果需要忽略某些文件夹，使用以下代码
            if s in notdeal:                continue
            newDir = os.path.join(dir, s)
            GetFileList(newDir, fileList,notdeal)    return fileListdef pushFileinFold(filename,foldname,createpath=False):
    retname=''
    names=filename.split('/')    if foldname[0]=='/':
        retname=foldname    else:        for i in range(len(names)-1):
            retname =retname+names[i]+'/'
        retname+=foldname    if createpath==True:        if os.path.exists(retname)==False:
            os.makedirs(retname)            # print(retname+'/'+ names[len(names) - 1])
    return retname +'/'+ names[len(names) - 1]
filepath = "/home/b/a"lists = GetFileList(filepath, [],['deal','python'])for i in range(len(lists)):
　　globals()['data'+str(i)]=pd.read_csv(lists[i],header=None)
　　#对数据进行处理
　　globals()['data'+str(i)].to_excel(pushFileinFold(lists[i],'deal',True))

热心网友时间：2022-04-28 07:51

是想直接copy到对应的文件夹就可以了？
用os.walk遍历这一层文件夹，如果文件夹名字有rst就用foldername.split("_")[0]拿到前面的文件夹名，再用os.system()用系统命令直接copy就可以了。

全部栏目

如何用python批量处理