
Project Description
Sistem Retrieval-Augmented Generation (RAG) dan AI cerdas yang mampu menjawab pertanyaan seputar kebijakan internal perusahaan secara instan dan akurat
Model Machine Learning berat (SentenceTransformer, CrossEncoder, spaCy) dan client API (QdrantClient, genai.Client)
Key Technical Highlights & Architecture
- Multi-Tier Smart Chunking & Noise Filtering: Proses ekstraksi dokumen PDF menggunakan metode level-based splitting dan pembersihan noise (seperti nomor halaman & header/footer berulang) untuk menjaga hierarki informasi regulasi tetap utuh.
- Two-Tier High-Precision Retrieval: Menerapkan pencarian dua lapis dengan Vector Search (Qdrant Cloud) untuk high-recall retrieval, diikuti oleh BGE Cross-Encoder Reranker (bge-reranker-base) untuk memastikan dokumen yang disajikan ke LLM benar-benar relevan.
- Local Coreference Resolution (~89% Token Reduction): Menggunakan model NLP lokal (spaCy) untuk menangani percakapan multi-turn secara cerdas tanpa memanggil LLM kondensasi tambahan.
📉 Hasil Optimasi: Konsumsi token prompt berhasil dipangkas dari ~7.600 token menjadi hanya ~850 token per interaksi (~89% lebih hemat), sekaligus mempertahankan batas 1 API call per request pada Gemini 1.5 Flash. - Strict Guardrail Mechanisms: Sistem dilengkapi score thresholding. Jika konteks pertanyaan tidak ditemukan dalam dokumen SOP, sistem secara otomatis menolak menjawab untuk mencegah informasi palsu/halusinasi.