当前位置 博文首页 > Python对130w+张图片检索的实现方法

    Python对130w+张图片检索的实现方法

    作者:aquariusmao 时间:2021-05-24 18:24

    任务说明:

    130w+张图片,8张excel表里记录了需要检索图片的文件名,现在需要找出对应的图片,将找出的图片按不同的excel分别保存,并且在excel里能够直接打开图片。

    任务分析:

    如果数据量不大的话,可以直接读取excel表里的文件名进行搜索保存,但这次的任务显然不合适,因为图片实在太多,所以考虑后按照以下步骤:

    1、遍历图片文件夹,读取文件名和文件路径,写入到csv文件中;

    2、使用pandas的merge函数,实现8张原始excel表与csv文件根据图片文件名的对碰;

    3、使用shutil的copy函数,读取文件路径进行保存。

    代码分析:

    1、文件遍历

    import os
    import pandas as pd
     
    file_list = []
    path_list = []
    path = r"此处添加图片路径"
    print("任务开始")
    for root,dirs,files in os.walk(path):
     for file in files:
      file_list.append(file.split('.')[0])
      path_list.append(os.path.join(root,file))
    print("文件遍历结束")
    file_dic = dict(zip(file_list,path_list))
    df = pd.DataFrame.from_dict(file_dic,orient='index', columns=['图片1路径']).reset_index().rename(columns={'index':'图片1'})
    df.to_csv("图片1.csv")
    df = pd.DataFrame.from_dict(file_dic,orient='index', columns=['图片2路径']).reset_index().rename(columns={'index':'图片2'})
    df.to_csv("图片2.csv")
    df = pd.DataFrame.from_dict(file_dic,orient='index', columns=['图片3路径']).reset_index().rename(columns={'index':'图片3'})
    df.to_csv("图片3.csv")
    print("文件目录导出成功")

    2、表格对碰

    import pandas as pd
    frame1 = pd.read_excel(r'excel表1.xlsx', 'sheet名')
    frame2 = pd.read_csv(r'图片1.csv', sep=',')
    frame3 = pd.read_csv(r'图片2.csv', sep=',')
    frame4 = pd.read_csv(r'图片3.csv', sep=',')
    frame5 = pd.merge(frame1, frame2, on = ['图片1'], how = 'left')
    frame6 = pd.merge(frame5, frame3, on = ['图片2'], how = 'left')
    frame7 = pd.merge(frame6, frame4, on = ['图片3'], how = 'left')
    col = ['图片1','图片2','图片3']
    frame7[col] = frame7[col].fillna('未找到')
    frame7.to_excel('excel表1合并后.xlsx')

    3、图片复制

    import shutil
    target = '此处为excel表1导出图片路径'
    copylist1 = frame7['图片1']
    for src in copylist1:
      if src != '未找到':
        shutil.copy(src, target)
    copylist2 = frame7['图片2']
    for src in copylist2:
      if src != '未找到':
        shutil.copy(src, target)
    copylist3 = frame7['图片3']
    for src in copylist3:
      if src != '未找到':
        shutil.copy(src, target)
    print('复制完毕')

    4、excel里打开图片,可以使用excel自带的hyperlink函数。

    总结

    js
    下一篇:没有了