Cara Mengautomasikan Pengekstrakan Data PDF Menggunakan Model AI Tempatan Tanpa API Awan

Aliran kerja pengekstrakan PDF tempatan yang paling boleh dipercayai biasanya ialah saluran paip, bukan satu prompt AI tunggal: pertama, pulihkan teks dan susun atur yang boleh dipercayai daripada PDF, kemudian minta model tempatan untuk memetakan kandungan tersebut ke dalam skema ketat, dan akhirnya sahkan medan sebelum menyimpannya. Menghantar setiap halaman PDF terus ke model penglihatan boleh berfungsi, tetapi ia sering lebih perlahan, lebih intensif dari segi perkakasan, dan lebih sukar diaudit berbanding menggunakan teks PDF asli atau OCR apabila kaedah tersebut mencukupi.

Perbezaan ini penting jika matlamat anda ialah “tiada API awan.” Anda masih boleh menggunakan API tempatan pada mesin anda sendiri—contohnya, hujung HTTP Ollama pada localhost—tanpa menghantar kandungan dokumen ke perkhidmatan yang dihoskan. Ollama menyatakan bahawa prompt dan respons tidak dihantar kembali ke Ollama apabila model berjalan secara tempatan, dan ia menyediakan mod sahaja-tempatan yang melumpuhkan ciri awan. Docling juga mengekalkan perkhidmatan jauh dilumpuhkan secara lalai, walaupun fail model mungkin masih perlu dimuat turun semasa persediaan melainkan anda mengambilnya terlebih dahulu untuk penggunaan luar talian.

Stek yang betul bergantung pada PDF. Invois digital asli dengan teks boleh pilih memerlukan pendekatan yang berbeza daripada resit yang diimbas, jadual kewangan yang rumit, atau borang yang banyak gambar. Panduan ini membandingkan pilihan tersebut dan memberikan corak automasi empat peringkat yang boleh anda sesuaikan untuk invois, kontrak, pesanan pembelian, borang permohonan, laporan, dan dokumen berulang lain.

Cadangan pantas: pilih saluran paip mengikut jenis dokumen

Tiada pemenang sejagat. Jika dokumen anda boleh diramalkan dan mengandungi teks tertanam, parser ditambah model bahasa tempatan kecil mungkin mengatasi aliran kerja penglihatan yang jauh lebih besar dari segi kos, kelajuan, dan kebolehulangan. Jika kedudukan teks adalah sebahagian daripada makna—contohnya, jadual dengan sel bercantum atau borang di mana label dan nilai dipadankan secara ruang—pemprosesan sedar susun atur menjadi lebih bernilai.

Langkah 1: Klasifikasikan PDF sebelum memilih OCR atau AI

Mulakan dengan menentukan sama ada dokumen sudah mengandungi teks yang boleh digunakan. Digital asli bermaksud PDF dijana daripada perisian dan biasanya mengandungi objek teks yang boleh dipilih dan disalin. PDF yang diimbas mungkin hanya mengandungi imej halaman, jadi parser teks biasa mengembalikan sedikit atau tiada apa-apa.

Dokumentasi rasmi PyMuPDF menunjukkan pengekstrakan teks langsung dengan page.get_text(). Ujian tempatan minimum kelihatan seperti ini:

import pymupdf

def extract_native_text(pdf_path: str) -> str:
    pages = []
    with pymupdf.open(pdf_path) as doc:
        for page in doc:
            pages.append(page.get_text())
    return "\f".join(pages)

text = extract_native_text("invoice.pdf")
print(text[:1000])

Lihat asas PyMuPDF rasmi. PyMuPDF juga memberi amaran bahawa teks PDF biasa mungkin tidak muncul dalam urutan bacaan semula jadi dan mungkin mengandungi pembarisan yang tidak dijangka. Itu adalah batasan parser, bukan semestinya masalah AI.

Paling sesuai: invois, penyata, laporan, dan borang di mana salin/tampal teks sudah berfungsi dan medan mudah dikenal pasti daripada label berdekatan.

Waspadai: satu halaman boleh mengandungi lapisan teks kecil ditambah imej imbasan besar. Oleh itu, hanya memeriksa sama ada “sesetengah teks wujud” bukanlah pengesan imbasan yang sempurna. Untuk automasi pengeluaran, periksa dokumen yang mewakili dan bukan bergantung pada satu ambang kiraan aksara sejagat.

Tindakan: ambil 20–50 PDF yang mewakili dan klasifikasikannya ke dalam kumpulan digital asli, diimbas, bercampur, dan susun atur berat. Saluran paip anda harus menghantar mengikut tingkah laku dokumen, bukan hanya mengikut sambungan fail.

Langkah 2: Ekstrak teks secara tempatan—atau OCR hanya apabila anda memerlukannya

Pilihan A: PyMuPDF untuk PDF digital bersih

Jika lapisan teks boleh dipercayai, pengekstrakan langsung biasanya adalah laluan paling mudah. Ia mengelakkan latensi OCR dan mengelakkan memperkenalkan kesilapan aksara OCR ke dalam teks yang sudah dikodkan dengan betul. Untuk dokumen panjang, anda boleh mengekalkan pemisah halaman dan memproses kumpulan halaman atau bahagian logik dan bukan menghantar keseluruhan dokumen ke model sekaligus.

Pertukaran: teks biasa adalah murah dan cepat, tetapi jadual, halaman berbilang lajur, kepala halaman, kaki halaman, dan urutan bacaan mungkin memerlukan penanganan tambahan. Jika hubungan tersebut penting untuk medan sasaran, beralih kepada representasi sedar susun atur dan bukan menimbun arahan prompt pada teks sumber yang lemah.

Pilihan B: OCRmyPDF ditambah Tesseract untuk halaman yang diimbas

Tesseract ialah enjin OCR sumber terbuka. Manual penggunanya semasa mendokumentasikan siri 5.x dan sokongan untuk banyak bahasa melalui fail data terlatih berasingan. OCRmyPDF membungkus OCR di sekitar pemprosesan khusus PDF supaya halaman yang diimbas boleh memperoleh lapisan teks boleh dicari.

Untuk dokumen bercampur di mana sesetengah halaman sudah mengandungi teks, versi OCRmyPDF semasa menyokong mod skip:

ocrmypdf --mode skip input.pdf searchable.pdf

Dokumentasi lanjutan OCRmyPDF rasmi menjelaskan bahawa --mode skip meninggalkan halaman dengan teks sedia ada dan melakukan OCR pada halaman yang memerlukannya. Dokumentasi yang sama menerangkan redo untuk menggantikan OCR sebelumnya yang dikesan dan force untuk merasterkan dan melakukan OCR pada semua kandungan. Gunakan force dengan berhati-hati kerana rasterisasi boleh membuang kelebihan vektor dan meratakan kandungan interaktif.

Untuk pemasangan Tesseract, bahasa, dan tingkah laku baris perintah, gunakan manual pengguna Tesseract rasmi. Bahasa OCR adalah penting: jika invois anda mengandungi bahasa Inggeris dan Jerman, contohnya, pasang dan konfigurasikan data bahasa yang sesuai dan bukan mengandaikan model Inggeris lalai akan mengendalikan kedua-duanya dengan sama baik.

Pilihan C: Docling apabila struktur penting

Docling direka untuk penukaran dokumen dengan pilihan pemahaman susun atur, jadual, OCR, dan pemprosesan bahasa-penglihatan tempatan. Dokumentasi projeknya menyenaraikan pemahaman PDF lanjutan, struktur jadual, OCR, dan output gaya JSON/Markdown tanpa kehilangan, dengan pelaksanaan tempatan yang dimaksudkan untuk aliran kerja sensitif dan terasing udara.

Penukaran Python asas boleh sekecil:

from docling.document_converter import DocumentConverter

converter = DocumentConverter()
doc = converter.convert("input.pdf").document

markdown = doc.export_to_markdown()
structured = doc.export_to_dict()

Lihat panduan permulaan Docling rasmi. Docling juga menyokong saluran paip VLM tempatan dan beberapa backend OCR. Pilihan lanjutannya menjelaskan bahawa panggilan perkhidmatan jauh memerlukan pilihan masuk secara eksplisit, manakala artifak model boleh diambil terlebih dahulu untuk penggunaan luar talian.

Paling sesuai: jadual kompleks, tajuk, laporan berbilang lajur, imbasan bercampur, atau kes di mana anda mahu representasi dokumen boleh guna semula dan bukan longgokan teks biasa.

Pertukaran: saluran paip lebih berat daripada parser PDF ringkas. Gunakan ia kerana struktur tambahan meningkatkan ketepatan pengekstrakan anda—bukan semata-mata kerana ia mempunyai lebih banyak komponen.

Tindakan: pilih kaedah pengekstrakan paling ringan yang mengekalkan maklumat yang diperlukan oleh skema sasaran anda. Jangan lakukan OCR pada teks tertanam yang bersih, dan jangan buang susun atur apabila susun atur menentukan makna.

Langkah 3: Petakan kandungan yang dipulihkan ke dalam skema ketat dengan model tempatan

Setelah anda mempunyai kandungan sumber yang boleh dipercayai, gunakan model tempatan untuk apa yang ia mahir: pemetaan semantik. Dan bukan bertanya, “Ekstrak segala-galanya daripada invois ini,” takrifkan medan yang anda benar-benar perlukan.

Contohnya:

from pydantic import BaseModel
from typing import Optional

class LineItem(BaseModel):
    description: str
    quantity: Optional[float]
    unit_price: Optional[float]
    amount: Optional[float]

class Invoice(BaseModel):
    invoice_number: Optional[str]
    invoice_date: Optional[str]
    vendor_name: Optional[str]
    currency: Optional[str]
    subtotal: Optional[float]
    tax: Optional[float]
    total: Optional[float]
    items: list[LineItem]

Dokumentasi output berstruktur Ollama semasa menyokong penghantaran Skema JSON melalui medan format dan mengesahkan respons dengan Pydantic. Panggilan tempatan boleh kelihatan seperti ini:

from ollama import chat

schema = Invoice.model_json_schema()

prompt = f"""
Extract the invoice into the supplied schema.

Rules:
- Use only information present in the source.
- Use null when a field is not found.
- Do not infer missing invoice numbers, dates, tax, or totals.
- Preserve line items individually.

SOURCE:
{text}
"""

response = chat(
    model="gpt-oss",
    messages=[{"role": "user", "content": prompt}],
    format=schema,
    options={"temperature": 0},
)

invoice = Invoice.model_validate_json(response.message.content)

Ini mengikuti corak dalam Dokumentasi Output Berstruktur rasmi Ollama, yang mengesyorkan skema boleh guna semula dan suhu rendah seperti sifar untuk penyelesaian berstruktur yang lebih deterministik.

Nama model di atas adalah contoh daripada dokumentasi output berstruktur Ollama sendiri, bukan dakwaan bahawa ia adalah model terbaik untuk setiap kerja pengekstrakan. Model yang lebih kecil mungkin memadai untuk invois berulang dengan label yang jelas; model yang lebih kuat mungkin membantu dengan kontrak yang kabur atau susun atur yang tidak konsisten tetapi secara amnya akan memerlukan lebih banyak memori dan masa pemprosesan.

Model teks atau model penglihatan?

Gunakan model teks apabila output parser/OCR sudah mengekalkan hubungan medan yang anda perlukan. Gunakan model penglihatan tempatan yang mampu apabila kedudukan visual adalah penting atau penukaran teks secara konsisten kehilangan struktur. Dokumentasi Penglihatan rasmi Ollama menyokong input imej kepada model penglihatan tempatan, dan ciri output berstrukturnya boleh digabungkan dengan model yang mampu penglihatan.

Walau bagaimanapun, merender setiap halaman kepada imej mengubah pertukaran:

• lebih banyak piksel mesti diproses;
• halaman resolusi tinggi menggunakan lebih banyak pengiraan dan memori;
• pengelompokan halaman menjadi penting untuk PDF panjang;
• model visual masih boleh mereka-reka medan atau salah membaca nombor;
• anda memerlukan cara untuk menjejak nilai yang diekstrak kembali ke halaman atau kawasan sumber.

Tindakan: mulakan dengan teks parser/OCR ditambah LLM tempatan terikat skema. Tingkatkan hanya jenis halaman yang sukar kepada VLM tempatan dan bukan membayar kos penglihatan untuk setiap halaman.

Langkah 4: Sahkan sebelum menulis JSON, CSV, Excel, atau pangkalan data

JSON sah skema tidak secara automatik betul dari segi fakta. Model boleh menghasilkan medan sah dengan nilai yang salah. Oleh itu, peringkat terakhir harus menggunakan pemeriksaan deterministik di mana sahaja yang mungkin.

Untuk invois, pemeriksaan berguna termasuk:

• Medan identiti wajib: nombor invois atau nama vendor mesti wujud jika aliran kerja anda memerlukannya.
• Penghuraian tarikh: urai tarikh dengan dasar tetap dan bukan mempercayai rentetan kabur seperti 03/04/26.
• Aritmetik: bandingkan jumlah amaun item baris dengan jumlah kecil dokumen dalam toleransi yang ditakrifkan.
• Jumlah: sahkan sama ada jumlah kecil ditambah cukai dan caj lain adalah konsisten dengan jumlah keseluruhan.
• Mata wang: jangan andaikan USD kerana dokumen dalam bahasa Inggeris.
• Provenance: simpan nama fail sumber, nombor halaman, cap masa pengekstrakan, dan secara pilihan hash PDF asal.
• Baris gilir semakan: hantar kes yang hilang, konflik, atau keyakinan rendah untuk semakan manusia dan bukan mengisi nilai secara senyap.

Struktur kelompok asas boleh memisahkan pengekstrakan daripada pengesahan:

from pathlib import Path
import json

for pdf_path in Path("inbox").glob("*.pdf"):
    source_text = extract_native_text(str(pdf_path))

    # If text is unusable, run your OCR or Docling branch here.
    record = extract_with_local_model(source_text)

    errors = validate_record(record)

    if errors:
        save_for_review(pdf_path, record, errors)
    else:
        output = Path("processed") / f"{pdf_path.stem}.json"
        output.write_text(
            json.dumps(record, ensure_ascii=False, indent=2),
            encoding="utf-8"
        )

Fungsi pembantu sengaja ditinggalkan khusus aplikasi kerana peraturan pengesahan berbeza secara drastik antara invois, kontrak, borang cukai, laporan makmal, dan pesanan pembelian. Pengesah sejagat akan mewujudkan keyakinan palsu.

Jika anda memerlukan CSV atau Excel, ratakan hanya medan yang benar-benar milik dalam baris dan lajur. Untuk dokumen dengan item baris berulang, selalunya lebih bersih untuk membuat satu jadual peringkat dokumen dan jadual item baris kedua yang dipautkan oleh ID dokumen dan bukan memaksa setiap medan ke dalam satu baris hamparan lebar.

Tindakan: takrifkan peraturan pengesahan sebelum memproses ribuan fail. Uji terhadap set sampel berlabel dan rekod ketepatan peringkat medan, bukan hanya “dokumen berjaya diproses.”

Seni bina tempatan sepenuhnya yang praktikal

Untuk banyak kerja automasi kecil dan sederhana, pembahagian tanggungjawab ini lebih mudah diselenggara daripada model semua-dalam-satu:

PDF inbox
   |
   +-- born-digital --> PyMuPDF -------------------+
   |                                               |
   +-- scanned/mixed --> OCRmyPDF/Tesseract -------+--> normalized text/layout
   |                                               |
   +-- layout-heavy --> Docling -------------------+
                                                   |
                                                   v
                                         local LLM / VLM
                                                   |
                                            JSON Schema
                                                   |
                                                   v
                                   deterministic validation
                                                   |
                            +----------------------+----------------+
                            |                      |                |
                           JSON                   CSV             database

Reka bentuk ini membolehkan anda menukar komponen secara bebas. Jika kualiti OCR lemah, tingkatkan lapisan OCR tanpa melatih semula LLM. Jika model tempatan terlalu perlahan, gunakan yang lebih kecil tanpa mengubah parser PDF. Jika invois satu vendor memerlukan penanganan jadual khas, hantar hanya fail tersebut melalui Docling atau cabang penglihatan.

Ollama vs. llama.cpp vs. Docling VLM: runtime tempatan mana yang harus anda pilih?

Repositori llama.cpp rasmi mendokumentasikan llama-server tempatan dan penjanaan terikat tatabahasa; kod pelayan semasa juga menerima kekangan skema JSON. Dokumentasi Model Penglihatan Docling menyenaraikan pilihan VLM tempatan untuk penukaran dokumen.

Jangan pilih runtime hanya berdasarkan papan pendahulu model. Untuk pengekstrakan PDF, ukuran praktikal ialah ketepatan medan, throughput setiap dokumen, penggunaan memori pada mesin anda, kadar kegagalan pada susun atur anda, kerumitan permulaan, dan betapa mudahnya anda memeriksa hasil yang salah.

Cara mengekalkan saluran paip benar-benar tempatan

“Tiada API awan” harus menjadi sifat deployment yang boleh anda sahkan, bukan hanya label pemasaran.

Ollama

FAQ rasmi Ollama menyatakan prompt dan jawapan tempatan tidak dihantar kembali ke Ollama. Ia juga mendokumentasikan tetapan lumpuhkan awan:

OLLAMA_NO_CLOUD=1

atau tetapan pelayan disable_ollama_cloud yang setara. API tempatan Ollama berjalan pada http://localhost:11434 dan tidak memerlukan pengesahan untuk akses tempatan, menurut dokumentasi pengesahannya.

Ingat bahawa perkhidmatan yang terikat pada localhost berbeza daripada yang didedahkan kepada LAN anda. Jika anda mengubah alamat ikatannya atau meletakkannya di belakang pelayan lain, anda bertanggungjawab untuk kawalan akses.

Docling

Docling mengekalkan penggunaan perkhidmatan jauh dilumpuhkan secara lalai. Dokumentasinya juga membezakan privasi pemprosesan daripada pemerolehan model: model mungkin diambil pada penggunaan pertama melainkan anda memuat turunnya terlebih dahulu. Untuk sistem terasing udara, gunakan docling-tools models download pada mesin persediaan bersambung atau pra-sediakan artifak model yang diluluskan, kemudian arahkan persekitaran luar talian ke direktori artifak tempatan itu.

Tindakan: sebelum memproses dokumen sensitif, halang akses rangkaian keluar pada lapisan sistem operasi atau rangkaian dan jalankan ujian sambil memantau sambungan. Tetapan aplikasi adalah berguna, tetapi kawalan rangkaian memberikan anda lapisan pengesahan bebas.

Apa yang AI tempatan tidak selesaikan

Menjalankan secara tempatan meningkatkan pilihan kawalan data, tetapi ia tidak secara automatik menjadikan pengekstrakan betul, patuh, atau selamat. Fail tempatan masih boleh bocor melalui log debug, direktori sementara, sandaran, folder dikongsi, perkhidmatan terlalu longgar, atau eksport disalin. Model tempatan juga boleh berhalusinasi nilai tepat seperti model yang dihoskan.

Jangan gunakan model sebagai pengesah tunggal untuk medan berimpak tinggi seperti nombor akaun bank, arahan pembayaran, tarikh kontrak, nilai perubatan, atau pengenal pasti peraturan. Untuk itu, bandingkan dengan teks sumber, gunakan pengesahan deterministik, dan minta semakan manusia apabila keyakinan tidak mencukupi.

Cara menguji sebelum mengautomasikan keseluruhan folder

Bina set penilaian berlabel kecil yang mengandungi kes yang anda benar-benar terima:

• PDF digital bersih;
• imbasan resolusi rendah;
• halaman diputar atau condong;
• invois berbilang halaman;
• jadual merentasi halaman;
• medan pilihan yang hilang;
• format tarikh dan nombor yang berbeza;
• sekurang-kurangnya satu dokumen yang sengaja sukar.

Untuk setiap medan sasaran, bandingkan nilai yang diekstrak dengan kebenaran asas. Ukur padanan tepat untuk pengenal pasti, toleransi numerik untuk amaun, dan ketepatan peringkat baris untuk item baris. Juga rekod masa pemprosesan dan peratusan dokumen yang dihantar untuk semakan manual.

Jika laluan PyMuPDF-plus-LLM yang lebih ringkas mencapai ketepatan yang diperlukan anda, kekalkan ia. Jika imbasan adalah kegagalan utama, tingkatkan OCR. Jika hubungan jadual adalah masalah, uji Docling. Jika medan yang diletakkan secara visual kekal sukar, hantar subset itu melalui model penglihatan tempatan. Peningkatan berperingkat ini biasanya memberikan anda kawalan yang lebih baik terhadap kelajuan dan penggunaan perkakasan berbanding menggunakan model paling berat untuk setiap halaman.

Kesimpulan

Sistem pengekstrakan PDF tempatan yang baik memisahkan pembacaan dokumen daripada pengekstrakan semantik. Gunakan PyMuPDF apabila PDF sudah mengandungi teks yang baik; OCRmyPDF/Tesseract apabila halaman diimbas; Docling apabila struktur dan jadual penting; dan model Ollama atau llama.cpp tempatan apabila anda memerlukan pemetaan fleksibel ke dalam skema perniagaan. Gunakan penglihatan tempatan hanya di mana susun atur visual menambah maklumat yang tidak boleh diekalkan oleh saluran paip teks dengan boleh dipercayai.

Keperluan akhir ialah pengesahan. Skema JSON boleh mengekang bentuk respons model, tetapi ia tidak boleh membuktikan bahawa amaun, tarikh, nama, atau nombor akaun sepadan dengan sumber. Jika anda mereka bentuk saluran paip supaya dokumen yang tidak pasti kelihatan dan boleh disemak, anda boleh mengautomasikan sebahagian besar pengekstrakan data PDF tanpa menyerahkan dokumen kepada API awan—dan tanpa berpura-pura bahawa AI tempatan menghapuskan keperluan untuk kawalan kualiti.