#!/usr/bin/env python  # 該行命令告訴操作系統(tǒng)使用 Python 解釋器執(zhí)行此文件
import sys  # 導(dǎo)入sys模塊，用于處理與Python解釋器和運(yùn)行時(shí)環(huán)境有關(guān)的操作
from pdfminer.pdfdocument import PDFDocument  # 從pdfminer模塊導(dǎo)入PDFDocument類(lèi)，用于表示PDF文檔
from pdfminer.pdfparser import PDFParser  # 從pdfminer模塊導(dǎo)入PDFParser類(lèi)，用于解析PDF文檔
from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter  # 從pdfminer模塊導(dǎo)入資源管理和頁(yè)面解釋類(lèi)
from pdfminer.pdfdevice import PDFDevice, TagExtractor  # 從pdfminer模塊導(dǎo)入PDF設(shè)備和標(biāo)簽提取器類(lèi)
from pdfminer.pdfpage import PDFPage  # 從pdfminer模塊導(dǎo)入PDFPage類(lèi)，用于表示PDF頁(yè)面
from pdfminer.converter import XMLConverter, HTMLConverter, TextConverter  # 從pdfminer模塊導(dǎo)入轉(zhuǎn)換器類(lèi)，用于將PDF轉(zhuǎn)換為其他格式
from pdfminer.cmapdb import CMapDB  # 從pdfminer模塊導(dǎo)入字符映射數(shù)據(jù)庫(kù)類(lèi)
from pdfminer.layout import LAParams  # 從pdfminer模塊導(dǎo)入布局分析參數(shù)類(lèi)
from pdfminer.image import ImageWriter  # 從pdfminer模塊導(dǎo)入圖像寫(xiě)入類(lèi)

# 定義主函數(shù)，argv是一個(gè)包含命令行參數(shù)的列表
def main(argv):
    import getopt  # 導(dǎo)入getopt模塊，用于解析命令行參數(shù)
    # 定義一個(gè)顯示用法的內(nèi)部函數(shù)
    def usage():
        print ('usage: %s [-P password] [-o output] [-t text|html|xml|tag]'
               ' [-O output_dir] [-c encoding] [-s scale] [-R rotation]'
               ' [-Y normal|loose|exact] [-p pagenos] [-m maxpages]'
               ' [-S] [-C] [-n] [-A] [-V] [-M char_margin] [-L line_margin]'
               ' [-W word_margin] [-F boxes_flow] [-d] input.pdf ...' % argv[0])
        return 100  # 返回一個(gè)錯(cuò)誤代碼
    try:
        # 使用getopt解析命令行參數(shù)
        (opts, args) = getopt.getopt(argv[1:], 'dP:o:t:O:c:s:R:Y:p:m:SCnAVM:W:L:F:')
    except getopt.GetoptError:
        return usage()  # 如果解析失敗，則顯示用法并退出
    if not args: return usage()  # 如果沒(méi)有提供非選項(xiàng)參數(shù)（例如輸入文件），則顯示用法并退出
    # 初始化一些變量
    debug = 0  # 調(diào)試級(jí)別
    password = b''  # PDF密碼
    pagenos = set()  # 要處理的頁(yè)碼集
    maxpages = 0  # 最大頁(yè)數(shù)
    outfile = None  # 輸出文件名
    outtype = None  # 輸出類(lèi)型
    imagewriter = None  # 圖像寫(xiě)入對(duì)象
    rotation = 0  # 旋轉(zhuǎn)角度
    stripcontrol = False  # 是否剝離控制字符
    layoutmode = 'normal'  # 布局模式
    encoding = 'utf-8'  # 編碼方式
    pageno = 1  # 頁(yè)面號(hào)
    scale = 1  # 縮放因子
    caching = True  # 是否緩存
    showpageno = True  # 是否顯示頁(yè)面號(hào)
    laparams = LAParams()  # 布局分析參數(shù)對(duì)象
    for (k, v) in opts:  # 遍歷選項(xiàng)和值
        if k == '-d': debug += 1  # 設(shè)置調(diào)試級(jí)別
        elif k == '-P': password = v.encode('ascii')  # 設(shè)置密碼
        elif k == '-o': outfile = v  # 設(shè)置輸出文件名
        elif k == '-t': outtype = v  # 設(shè)置輸出類(lèi)型
        elif k == '-O': imagewriter = ImageWriter(v)  # 創(chuàng)建圖像寫(xiě)入對(duì)象
        elif k == '-c': encoding = v  # 設(shè)置編碼方式
        elif k == '-s': scale = float(v)  # 設(shè)置縮放因子
        elif k == '-R': rotation = int(v)  # 設(shè)置旋轉(zhuǎn)角度
        elif k == '-Y': layoutmode = v  # 設(shè)置布局模式
        elif k == '-p': pagenos.update(int(x)-1 for x in v.split(','))  # 更新頁(yè)碼集
        elif k == '-m': maxpages = int(v)  # 設(shè)置最大頁(yè)數(shù)
        elif k == '-S': stripcontrol = True  # 啟用剝離控制字符
        elif k == '-C': caching = False  # 禁用緩存
        elif k == '-n': laparams = None  # 禁用布局分析參數(shù)
        elif k == '-A': laparams.all_texts = True  # 啟用所有文本選項(xiàng)
        elif k == '-V': laparams.detect_vertical = True  # 啟用垂直檢測(cè)選項(xiàng)
        elif k == '-M': laparams.char_margin = float(v)  # 設(shè)置字符邊距
        elif k == '-W': laparams.word_margin = float(v)  # 設(shè)置單詞邊距
        elif k == '-L': laparams.line_margin = float(v)  # 設(shè)置行邊距
        elif k == '-F': laparams.boxes_flow = float(v)  # 設(shè)置框流
    # 設(shè)置調(diào)試級(jí)別
    PDFDocument.debug = debug
    PDFParser.debug = debug
    CMapDB.debug = debug
    PDFPageInterpreter.debug = debug
    # 創(chuàng)建PDF資源管理器對(duì)象
    rsrcmgr = PDFResourceManager(caching=caching)
    # 根據(jù)輸出類(lèi)型和選項(xiàng)創(chuàng)建相應(yīng)的PDF設(shè)備對(duì)象
    if not outtype:
        outtype = 'text'  # 默認(rèn)為文本輸出
        if outfile:
            if outfile.endswith('.htm') or outfile.endswith('.html'):
                outtype = 'html'  # 如果輸出文件名以.htm或.html結(jié)尾，則設(shè)置為html輸出
            elif outfile.endswith('.xml'):
                outtype = 'xml'  # 如果輸出文件名以.xml結(jié)尾，則設(shè)置為xml輸出
            elif outfile.endswith('.tag'):
                outtype = 'tag'  # 如果輸出文件名以.tag結(jié)尾，則設(shè)置為tag輸出
            elif outtype == 'tag':
        device = TagExtractor(rsrcmgr, outfp)  # 如果輸出類(lèi)型為'tag'，則創(chuàng)建TagExtractor對(duì)象
    else:
        return usage()  # 如果不識(shí)別的輸出類(lèi)型，則顯示用法并退出

    for fname in args:  # 遍歷所有輸入文件名
        with open(fname, 'rb') as fp:  # 以二進(jìn)制讀模式打開(kāi)文件
            interpreter = PDFPageInterpreter(rsrcmgr, device)  # 創(chuàng)建PDF頁(yè)面解釋器對(duì)象
            # 遍歷PDF頁(yè)面，獲取頁(yè)面對(duì)象
            for page in PDFPage.get_pages(fp, pagenos,
                                          maxpages=maxpages, password=password,
                                          caching=caching, check_extractable=True):
                page.rotate = (page.rotate+rotation) % 360  # 設(shè)置頁(yè)面旋轉(zhuǎn)角度
                interpreter.process_page(page)  # 處理每個(gè)頁(yè)面

    device.close()  # 關(guān)閉設(shè)備對(duì)象，釋放資源
    outfp.close()  # 關(guān)閉輸出文件，釋放資源
    return  # 從主函數(shù)返回

# 檢查此模塊是否作為主模塊運(yùn)行
if __name__ == '__main__':
    sys.exit(main(sys.argv))  # 如果是，則調(diào)用main函數(shù)，并使用命令行參數(shù)列表作為參數(shù)

#!/usr/bin/env python3
"""
Script to convert PDFs to text files.

"""

import  unicodedata, os, pdf2txt, datetime

import multiprocessing
def convertPDFToText(i, ID, newDir, fileNamePDF):
    print('Trying to convert: ' + str(i) + ', ' + ID)  # 輸出正在嘗試轉(zhuǎn)換的文件信息
    try:
        pdf2txt.main(['-o', newDir + '/' + ID + '.txt', fileNamePDF])  # 調(diào)用pdf2txt.main來(lái)轉(zhuǎn)換PDF為文本
        print('Successfully converted: ' + ID)  # 轉(zhuǎn)換成功時(shí)的輸出
    except Exception as e:
        print('Failed to convert: ' + ID + f', Error: {e}')  # 轉(zhuǎn)換失敗時(shí)的輸出

def process_pdfs(pdf_list):
    with multiprocessing.Pool(20) as pool:  # 創(chuàng)建一個(gè)包含20個(gè)進(jìn)程的進(jìn)程池
        pool.starmap(convertPDFToText, pdf_list)  # 使用starmap來(lái)并行處理pdf_list中的每個(gè)元素，每個(gè)元素都是一個(gè)元組，它將被解包為convertPDFToText的參數(shù)

if __name__ == '__main__':

    directory = '../../Data/PDF/work'
    os.chdir(directory)  # 更改當(dāng)前工作目錄至PDF文件目錄

    # 指定保存轉(zhuǎn)換后文件的目錄
    newDir = '../TXT/work'
    # os.makedirs(newDir)  # 創(chuàng)建新目錄（如果需要的話）
    print('Placing converted files in: ' + newDir)  # 輸出轉(zhuǎn)換后文件將被放置的目錄

    pdf_list = []  # 創(chuàng)建一個(gè)空列表，用于保存將傳遞給convertPDFToText的參數(shù)元組
    i = 0  # 初始化計(jì)數(shù)器
    for fileNamePDF in os.listdir('./'):  # 遍歷當(dāng)前目錄中的所有文件
        i += 1  # 計(jì)數(shù)器遞增
        if fileNamePDF.find(".pdf") == -1:  # 如果文件不是PDF，跳過(guò)
            continue

        ID = fileNamePDF[:-4]  # 從文件名中獲取ID（去掉.pdf后綴）
        if os.path.isfile('../TXT/' + ID + '.txt'):  # 如果已經(jīng)存在對(duì)應(yīng)的文本文件，跳過(guò)
            continue

        pdf_list.append((i, ID, newDir, fileNamePDF))  # 將參數(shù)元組添加到pdf_list中

    process_pdfs(pdf_list)  # 調(diào)用process_pdfs函數(shù)，傳遞pdf_list以并行處理PDF文件