Cara Mengotomatisasi Ekstraksi Data PDF Menggunakan Model AI Lokal Tanpa API Cloud

Alur kerja ekstraksi PDF lokal yang paling andal biasanya berupa pipeline, bukan satu prompt AI tunggal: pertama, pulihkan teks dan tata letak yang tepercaya dari PDF, lalu minta model lokal untuk memetakan konten tersebut ke dalam skema yang ketat, dan akhirnya validasi kolom sebelum menyimpannya. Mengirim setiap halaman PDF langsung ke model visi bisa berhasil, tetapi sering kali lebih lambat, lebih intensif dalam penggunaan perangkat keras, dan lebih sulit diaudit daripada menggunakan teks PDF asli atau OCR ketika metode tersebut sudah memadai.

Pembedaan ini penting jika tujuan Anda adalah “tanpa API cloud”. Anda masih dapat menggunakan API lokal di mesin Anda sendiri—misalnya, endpoint HTTP Ollama di localhost—tanpa mengirim isi dokumen ke layanan yang di-hosting. Ollama menyatakan bahwa prompt dan respons tidak dikirim kembali ke Ollama ketika model berjalan secara lokal, dan menyediakan mode khusus-lokal yang menonaktifkan fitur cloud. Docling juga secara default menonaktifkan layanan jarak jauh, meskipun file model mungkin masih perlu diunduh selama penyiapan kecuali Anda mengambilnya terlebih dahulu untuk penggunaan offline.

Stack yang tepat bergantung pada PDF-nya. Faktur born-digital dengan teks yang dapat dipilih memerlukan pendekatan yang berbeda dari struk hasil scan, tabel keuangan yang rumit, atau formulir yang kaya gambar. Panduan ini membandingkan opsi-opsi tersebut dan memberikan pola otomatisasi empat tahap yang dapat Anda sesuaikan untuk faktur, kontrak, pesanan pembelian, formulir aplikasi, laporan, dan dokumen berulang lainnya.

Rekomendasi cepat: pilih pipeline berdasarkan jenis dokumen

Tidak ada pemenang universal. Jika dokumen Anda dapat diprediksi dan berisi teks tertanam, parser ditambah model bahasa lokal kecil mungkin mengungguli alur kerja visi yang jauh lebih besar dalam hal biaya, kecepatan, dan reproduksibilitas. Jika posisi teks adalah bagian dari makna—misalnya, tabel dengan sel gabungan atau formulir di mana label dan nilai dipasangkan secara spasial—pemrosesan yang sadar tata letak menjadi lebih bernilai.

Langkah 1: Klasifikasikan PDF sebelum memilih OCR atau AI

Mulai dengan menentukan apakah dokumen sudah berisi teks yang dapat digunakan. Born-digital berarti PDF dihasilkan dari perangkat lunak dan biasanya berisi objek teks yang dapat dipilih dan disalin. PDF hasil scan mungkin hanya berisi gambar halaman, sehingga parser teks normal mengembalikan sedikit atau tidak ada apa pun.

Dokumentasi resmi PyMuPDF menunjukkan ekstraksi teks langsung dengan page.get_text(). Tes lokal minimal terlihat seperti ini:

import pymupdf

def extract_native_text(pdf_path: str) -> str:
    pages = []
    with pymupdf.open(pdf_path) as doc:
        for page in doc:
            pages.append(page.get_text())
    return "\f".join(pages)

text = extract_native_text("invoice.pdf")
print(text[:1000])

Lihat dasar-dasar PyMuPDF resmi. PyMuPDF juga memperingatkan bahwa teks PDF polos mungkin tidak muncul dalam urutan baca alami dan mungkin berisi pembarisan tak terduga. Itu adalah keterbatasan parser, bukan masalah AI.

Paling cocok untuk: faktur, laporan, dan formulir di mana salin/tempel teks sudah berfungsi dan kolom mudah diidentifikasi dari label di sekitarnya.

Waspadai: sebuah halaman dapat berisi lapisan teks kecil ditambah gambar hasil scan besar. Oleh karena itu, sekadar memeriksa apakah “beberapa teks ada” bukanlah detektor scan yang sempurna. Untuk otomatisasi produksi, periksa dokumen representatif daripada mengandalkan satu ambang batas jumlah karakter universal.

Tindakan: ambil 20–50 PDF representatif dan klasifikasikan ke dalam kelompok born-digital, hasil scan, campuran, dan tata letak berat. Pipeline Anda harus merutekan berdasarkan perilaku dokumen, bukan hanya berdasarkan ekstensi file.

Langkah 2: Ekstrak teks secara lokal—atau gunakan OCR hanya ketika Anda membutuhkannya

Opsi A: PyMuPDF untuk PDF digital bersih

Jika lapisan teks andal, ekstraksi langsung biasanya adalah rute paling sederhana. Ini menghindari latensi OCR dan menghindari pengenalan kesalahan karakter OCR ke dalam teks yang sudah dikodekan dengan benar. Untuk dokumen panjang, Anda dapat mempertahankan pemisah halaman dan memproses kelompok halaman atau bagian logis daripada meneruskan seluruh dokumen ke model sekaligus.

Tradeoff: teks polos murah dan cepat, tetapi tabel, halaman multi-kolom, header, footer, dan urutan baca mungkin memerlukan penanganan tambahan. Jika hubungan tersebut penting bagi kolom target, beralihlah ke representasi yang sadar tata letak daripada menumpuk instruksi prompt pada teks sumber yang buruk.

Opsi B: OCRmyPDF plus Tesseract untuk halaman hasil scan

Tesseract adalah mesin OCR sumber terbuka. Manual pengguna saat ini mendokumentasikan seri 5.x dan dukungan untuk banyak bahasa melalui file data terlatih terpisah. OCRmyPDF membungkus OCR di sekitar pemrosesan khusus PDF sehingga halaman hasil scan dapat memperoleh lapisan teks yang dapat dicari.

Untuk dokumen campuran di mana beberapa halaman sudah berisi teks, versi OCRmyPDF saat ini mendukung mode skip:

ocrmypdf --mode skip input.pdf searchable.pdf

Dokumentasi lanjutan OCRmyPDF resmi menjelaskan bahwa --mode skip membiarkan halaman dengan teks yang ada apa adanya dan melakukan OCR pada halaman yang membutuhkannya. Dokumentasi yang sama mendeskripsikan redo untuk mengganti OCR sebelumnya yang terdeteksi dan force untuk merasterisasi dan melakukan OCR pada semua konten. Gunakan force dengan hati-hati karena rasterisasi dapat membuang keunggulan vektor dan meratakan konten interaktif.

Untuk instalasi Tesseract, bahasa, dan perilaku baris perintah, gunakan manual pengguna Tesseract resmi. Bahasa OCR penting: jika faktur Anda berisi bahasa Inggris dan Jerman, misalnya, instal dan konfigurasikan data bahasa yang sesuai daripada mengasumsikan model bahasa Inggris default akan menangani keduanya dengan sama baiknya.

Opsi C: Docling ketika struktur penting

Docling dirancang untuk konversi dokumen dengan opsi tata letak, tabel, OCR, dan pemrosesan visi-bahasa lokal. Dokumentasi proyeknya mencantumkan pemahaman PDF lanjutan, struktur tabel, OCR, dan output gaya JSON/Markdown tanpa kehilangan, dengan eksekusi lokal yang ditujukan untuk alur kerja sensitif dan air-gapped.

Konversi Python dasar bisa sekecil:

from docling.document_converter import DocumentConverter

converter = DocumentConverter()
doc = converter.convert("input.pdf").document

markdown = doc.export_to_markdown()
structured = doc.export_to_dict()

Lihat quickstart Docling resmi. Docling juga mendukung pipeline VLM lokal dan beberapa backend OCR. Opsi lanjutan-nya menjelaskan bahwa panggilan layanan jarak jauh memerlukan opt-in eksplisit, sementara artefak model dapat diambil terlebih dahulu untuk penggunaan offline.

Paling cocok untuk: tabel kompleks, judul, laporan multi-kolom, scan campuran, atau kasus di mana Anda menginginkan representasi dokumen yang dapat digunakan kembali daripada dump teks polos.

Tradeoff: pipeline lebih berat daripada parser PDF sederhana. Gunakan karena struktur tambahan meningkatkan akurasi ekstraksi Anda—bukan hanya karena memiliki lebih banyak komponen.

Tindakan: pilih metode ekstraksi paling ringan yang mempertahankan informasi yang dibutuhkan skema target Anda. Jangan melakukan OCR pada teks tertanam yang bersih, dan jangan membuang tata letak ketika tata letak menentukan makna.

Langkah 3: Petakan konten yang dipulihkan ke dalam skema ketat dengan model lokal

Setelah Anda memiliki konten sumber yang tepercaya, gunakan model lokal untuk apa yang ia kuasai: pemetaan semantik. Alih-alih bertanya, “Ekstrak semuanya dari faktur ini,” tentukan kolom yang benar-benar Anda butuhkan.

Misalnya:

from pydantic import BaseModel
from typing import Optional

class LineItem(BaseModel):
    description: str
    quantity: Optional[float]
    unit_price: Optional[float]
    amount: Optional[float]

class Invoice(BaseModel):
    invoice_number: Optional[str]
    invoice_date: Optional[str]
    vendor_name: Optional[str]
    currency: Optional[str]
    subtotal: Optional[float]
    tax: Optional[float]
    total: Optional[float]
    items: list[LineItem]

Dokumentasi output terstruktur Ollama saat ini mendukung pengiriman JSON Schema melalui kolom format dan memvalidasi respons dengan Pydantic. Panggilan lokal dapat terlihat seperti ini:

from ollama import chat

schema = Invoice.model_json_schema()

prompt = f"""
Extract the invoice into the supplied schema.

Rules:
- Use only information present in the source.
- Use null when a field is not found.
- Do not infer missing invoice numbers, dates, tax, or totals.
- Preserve line items individually.

SOURCE:
{text}
"""

response = chat(
    model="gpt-oss",
    messages=[{"role": "user", "content": prompt}],
    format=schema,
    options={"temperature": 0},
)

invoice = Invoice.model_validate_json(response.message.content)

Ini mengikuti pola dalam Dokumentasi Output Terstruktur resmi Ollama, yang merekomendasikan skema yang dapat digunakan kembali dan suhu rendah seperti nol untuk penyelesaian terstruktur yang lebih deterministik.

Nama model di atas adalah contoh dari dokumentasi output terstruktur Ollama sendiri, bukan klaim bahwa itu adalah model terbaik untuk setiap pekerjaan ekstraksi. Model yang lebih kecil mungkin memadai untuk faktur berulang dengan label yang jelas; model yang lebih kuat mungkin membantu dengan kontrak yang ambigu atau tata letak yang tidak konsisten tetapi umumnya akan memerlukan lebih banyak memori dan waktu pemrosesan.

Model teks atau model visi?

Gunakan model teks ketika output parser/OCR sudah mempertahankan hubungan kolom yang Anda butuhkan. Gunakan model lokal yang mampu visi ketika posisi visual penting atau konversi teks secara konsisten kehilangan struktur. Dokumentasi Visi resmi Ollama mendukung input gambar ke model visi lokal, dan fitur output terstruktur dapat dikombinasikan dengan model yang mampu visi.

Namun, merender setiap halaman menjadi gambar mengubah tradeoff:

• lebih banyak piksel harus diproses;
• halaman resolusi tinggi mengonsumsi lebih banyak komputasi dan memori;
• batching halaman menjadi penting untuk PDF panjang;
• model visual masih dapat mengarang kolom atau salah membaca angka;
• Anda memerlukan cara untuk melacak nilai yang diekstrak kembali ke halaman atau wilayah sumber.

Tindakan: mulai dengan teks parser/OCR ditambah LLM lokal yang dibatasi skema. Eskalasi hanya jenis halaman yang sulit ke VLM lokal daripada membayar biaya visi untuk setiap halaman.

Langkah 4: Validasi sebelum menulis JSON, CSV, Excel, atau database

JSON yang valid secara skema tidak secara otomatis benar secara faktual. Model dapat menghasilkan kolom yang valid dengan nilai yang salah. Tahap terakhir karena itu harus menggunakan pemeriksaan deterministik di mana pun memungkinkan.

Untuk faktur, pemeriksaan yang berguna meliputi:

• Kolom identitas wajib: nomor faktur atau nama vendor harus ada jika alur kerja Anda membutuhkannya.
• Parsing tanggal: uraikan tanggal dengan kebijakan tetap daripada mempercayai string ambigu seperti 03/04/26.
• Aritmetika: bandingkan jumlah nilai item baris dengan subtotal dokumen dalam toleransi yang didefinisikan.
• Total: verifikasi apakah subtotal ditambah pajak dan biaya lain konsisten dengan total.
• Mata uang: jangan mengasumsikan USD karena dokumen dalam bahasa Inggris.
• Provenance: simpan nama file sumber, nomor halaman, stempel waktu ekstraksi, dan secara opsional hash dari PDF asli.
• Antrean tinjauan: rutekan kasus yang hilang, bertentangan, atau kepercayaan rendah untuk tinjauan manusia daripada secara diam-diam mengisi nilai.

Struktur batch dasar dapat memisahkan ekstraksi dari validasi:

from pathlib import Path
import json

for pdf_path in Path("inbox").glob("*.pdf"):
    source_text = extract_native_text(str(pdf_path))

    # If text is unusable, run your OCR or Docling branch here.
    record = extract_with_local_model(source_text)

    errors = validate_record(record)

    if errors:
        save_for_review(pdf_path, record, errors)
    else:
        output = Path("processed") / f"{pdf_path.stem}.json"
        output.write_text(
            json.dumps(record, ensure_ascii=False, indent=2),
            encoding="utf-8"
        )

Fungsi pembantu sengaja dibiarkan spesifik aplikasi karena aturan validasi sangat berbeda antara faktur, kontrak, formulir pajak, laporan lab, dan pesanan pembelian. Validator universal akan menciptakan kepercayaan palsu.

Jika Anda memerlukan CSV atau Excel, ratakan hanya kolom yang benar-benar termasuk dalam baris dan kolom. Untuk dokumen dengan item baris berulang, sering kali lebih bersih untuk membuat satu tabel tingkat dokumen dan tabel item baris kedua yang ditautkan oleh ID dokumen daripada memaksa setiap kolom ke dalam satu baris spreadsheet lebar.

Tindakan: tentukan aturan validasi sebelum memproses ribuan file. Uji terhadap set sampel berlabel dan catat akurasi tingkat kolom, bukan hanya “dokumen berhasil diproses.”

Arsitektur sepenuhnya lokal yang praktis

Untuk banyak pekerjaan otomatisasi kecil dan menengah, pembagian tanggung jawab ini lebih mudah dipelihara daripada model all-in-one:

PDF inbox
   |
   +-- born-digital --> PyMuPDF -------------------+
   |                                               |
   +-- scanned/mixed --> OCRmyPDF/Tesseract -------+--> normalized text/layout
   |                                               |
   +-- layout-heavy --> Docling -------------------+
                                                   |
                                                   v
                                         local LLM / VLM
                                                   |
                                            JSON Schema
                                                   |
                                                   v
                                   deterministic validation
                                                   |
                            +----------------------+----------------+
                            |                      |                |
                           JSON                   CSV             database

Desain ini memungkinkan Anda mengganti komponen secara independen. Jika kualitas OCR lemah, tingkatkan lapisan OCR tanpa melatih ulang LLM. Jika model lokal terlalu lambat, gunakan yang lebih kecil tanpa mengubah parser PDF. Jika faktur dari satu vendor memerlukan penanganan tabel khusus, rutekan hanya file-file tersebut melalui Docling atau cabang visi.

Ollama vs. llama.cpp vs. Docling VLM: runtime lokal mana yang harus Anda pilih?

Repositori llama.cpp resmi mendokumentasikan llama-server lokal dan generasi yang dibatasi grammar; kode server saat ini juga menerima batasan JSON schema. Dokumentasi Model Visi Docling mencantumkan opsi VLM lokal untuk konversi dokumen.

Jangan memilih runtime hanya berdasarkan papan peringkat model. Untuk ekstraksi PDF, ukuran praktis adalah akurasi kolom, throughput per dokumen, penggunaan memori di mesin Anda, tingkat kegagalan pada tata letak Anda, kompleksitas startup, dan seberapa mudah Anda dapat memeriksa hasil yang salah.

Cara menjaga pipeline tetap benar-benar lokal

“Tanpa API cloud” harus menjadi properti deployment yang dapat Anda verifikasi, bukan hanya label pemasaran.

Ollama

FAQ resmi Ollama mengatakan prompt dan jawaban lokal tidak dikirim kembali ke Ollama. Ini juga mendokumentasikan pengaturan nonaktif cloud:

OLLAMA_NO_CLOUD=1

atau pengaturan server disable_ollama_cloud yang setara. API lokal Ollama berjalan di http://localhost:11434 dan tidak memerlukan autentikasi untuk akses lokal, menurut dokumentasi autentikasinya.

Ingat bahwa layanan yang terikat ke localhost berbeda dari yang diekspos ke LAN Anda. Jika Anda mengubah alamat bind-nya atau menempatkannya di belakang server lain, Anda bertanggung jawab atas kontrol akses.

Docling

Docling menjaga penggunaan layanan jarak jauh dinonaktifkan secara default. Dokumentasinya juga membedakan privasi pemrosesan dari akuisisi model: model dapat diambil pada penggunaan pertama kecuali Anda mengunduhnya terlebih dahulu. Untuk sistem air-gapped, gunakan docling-tools models download di mesin staging yang terhubung atau pra-panggung artefak model yang disetujui dengan cara lain, lalu arahkan lingkungan offline ke direktori artefak lokal tersebut.

Tindakan: sebelum memproses dokumen sensitif, blokir akses jaringan keluar di lapisan sistem operasi atau jaringan dan jalankan tes sambil memantau koneksi. Pengaturan aplikasi berguna, tetapi kontrol jaringan memberi Anda lapisan verifikasi independen.

Apa yang tidak diselesaikan oleh AI lokal

Menjalankan secara lokal meningkatkan opsi kontrol data, tetapi tidak secara otomatis membuat ekstraksi benar, patuh, atau aman. File lokal masih dapat bocor melalui log debug, direktori sementara, cadangan, folder bersama, layanan yang terlalu permisif, atau ekspor yang disalin. Model lokal juga dapat berhalusinasi nilai persis seperti model yang di-hosting.

Jangan gunakan model sebagai satu-satunya verifier untuk kolom berdampak tinggi seperti nomor rekening bank, instruksi pembayaran, tanggal kontrak, nilai medis, atau pengidentifikasi regulasi. Untuk itu, bandingkan dengan teks sumber, terapkan validasi deterministik, dan minta tinjauan manusia ketika kepercayaan tidak cukup.

Cara menguji sebelum mengotomatisasi seluruh folder

Bangun set evaluasi berlabel kecil yang berisi kasus yang benar-benar Anda terima:

• PDF digital bersih;
• scan resolusi rendah;
• halaman yang diputar atau miring;
• faktur multi-halaman;
• tabel yang melintasi halaman;
• kolom opsional yang hilang;
• format tanggal dan angka yang berbeda;
• setidaknya satu dokumen yang sengaja sulit.

Untuk setiap kolom target, bandingkan nilai yang diekstrak dengan ground truth. Ukur kecocokan tepat untuk pengidentifikasi, toleransi numerik untuk jumlah, dan akurasi tingkat baris untuk item baris. Juga catat waktu pemrosesan dan persentase dokumen yang dikirim ke tinjauan manual.

Jika jalur PyMuPDF-plus-LLM yang lebih sederhana mencapai akurasi yang Anda butuhkan, pertahankan itu. Jika scan adalah kegagalan utama, tingkatkan OCR. Jika hubungan tabel adalah masalahnya, uji Docling. Jika kolom yang diposisikan secara visual tetap sulit, rutekan subset tersebut melalui model visi lokal. Eskalasi bertahap ini biasanya memberi Anda kontrol yang lebih baik atas kecepatan dan penggunaan perangkat keras daripada menerapkan model terberat ke setiap halaman.

Kesimpulan

Sistem ekstraksi PDF lokal yang baik memisahkan pembacaan dokumen dari ekstraksi semantik. Gunakan PyMuPDF ketika PDF sudah berisi teks yang baik; OCRmyPDF/Tesseract ketika halaman adalah hasil scan; Docling ketika struktur dan tabel penting; dan model Ollama atau llama.cpp lokal ketika Anda memerlukan pemetaan fleksibel ke dalam skema bisnis. Gunakan visi lokal hanya di mana tata letak visual menambahkan informasi yang tidak dapat dipertahankan secara andal oleh pipeline teks.

Persyaratan akhir adalah validasi. JSON Schema dapat membatasi bentuk respons model, tetapi tidak dapat membuktikan bahwa jumlah, tanggal, nama, atau nomor rekening cocok dengan sumber. Jika Anda merancang pipeline sehingga dokumen yang tidak pasti terlihat dan dapat ditinjau, Anda dapat mengotomatisasi sebagian besar ekstraksi data PDF tanpa menyerahkan dokumen ke API cloud—dan tanpa berpura-pura bahwa AI lokal menghilangkan kebutuhan akan kontrol kualitas.