Kiến trúc đồ thị tri thức hàng trăm triệu quan hệ hỗ trợ AI Agent suy luận đa tầng thời gian thực.

Tiêu chí kỹ thuật	Vector RAG Cổ Điển	Knowledge Graph dùng LLM	Agentic KG Xác Định (Zero-LLM Ingest)
Cơ chế nạp dữ liệu	Chia đoạn (Chunking) & Embedding	Gửi toàn bộ văn bản cho LLM trích xuất	Luồng phân tích cú pháp xác định & PyArrow
Chi phí xây đồ thị (40M docs)	$2.000 – $5.000 (Embedding)	$33.000+ (LLM Tokens)	Gần như $0 phí API (Chỉ tốn CPU/RAM máy chủ)
Thời gian hoàn thành	Vài ngày	Nhiều tuần (bị bóp Rate Limit)	10,8 phút cho 929 triệu quan hệ
Khả năng suy luận đa bước	Kém (Mất liên kết giữa các tài liệu rời rạc)	Khá (Dễ nhiễu do ảo giác thực thể)	Vượt trội (83,2% độ chính xác kiểm thử)
Vai trò của AI / LLM	Tóm tắt kết quả tìm kiếm vector	Đọc thô + Truy vấn	Đóng vai trò Tác Tử (Agent) điều hướng đồ thị

Dữ liệu đồ thị hàng tỷ cạnh được tuần tự hóa theo định dạng cột Apache Arrow và nén Parquet.

Tầng 1: Document Ingestion & Streaming (Nạp Dữ Liệu Dạng Luồng)

Thay vì giải nén toàn bộ 40 triệu tệp lên ổ cứng gây nghẽn I/O, hệ thống sử dụng cơ chế đọc luồng nhị phân trực tiếp từ các tệp nén .xml.gz. Mỗi tài liệu được gắn một mã định danh duy nhất (UUID/URI) để đảm bảo tính xác thực nguồn (Provenance Tracking) cho AI Agent sau này.

Tầng 2: Normalization & Memory Recycling (Chuẩn Hóa & Thu Hồi Bộ Nhớ Tức Thì)

Sử dụng kỹ thuật phân tích cú pháp dựa trên sự kiện (Event-driven Parsing như xml.etree.ElementTree.iterparse). Ngay sau khi đọc xong một nút bản ghi <record>, lệnh element.clear() được kích hoạt để giải phóng bộ nhớ RAM ngay lập tức, ngăn ngừa rò rỉ bộ nhớ (Memory Leak) khi xử lý tập dữ liệu hàng chục gigabyte.

Tầng 3 & 4: Deterministic Entity & Relationship Extraction (Trích Xuất Thực Thể & Quan Hệ)

Áp dụng các biểu thức cấu trúc tĩnh: tìm kiếm các thẻ <id>, <target>, <relation_type> hoặc liên kết tham chiếu tài liệu. Kết quả trích xuất là các bộ ba tri thức (Triplets): (Source_Node) → [RELATIONSHIP_TYPE] → (Target_Node) hoàn toàn không cần can thiệp bởi prompt engineering.

Tầng 5: Columnar Storage & Edge Serialization (Tuần Tự Hóa Lưu Trữ Dạng Cột)

Thay vì ghi từng bản ghi vào cơ sở dữ liệu quan hệ (gây tắc nghẽn khóa dòng), các cạnh được gom thành từng lô (Batches) gồm 50.000 đến 100.000 bản ghi, chuyển thành bảng Apache Arrow Table và ghi trực tiếp vào tệp Parquet với thuật toán nén Zstandard (zstd). Điều này mang lại tốc độ ghi dữ liệu vượt mốc 1,4 triệu cạnh/giây.

Tầng 6: Agentic Retrieval Layer (Tầng Truy Vấn Tác Tử Đa Bước)

Đồ thị sau khi nén được nạp vào máy chủ đồ thị phân tán hoặc bộ chỉ mục vector lai (Hybrid Graph-Vector Index). Khi một AI Agent (như Claude hoặc GPT-4o) nhận câu hỏi phức tạp, nó sẽ kích hoạt công cụ duyệt đồ thị (Graph Traversal Tool) để đi qua 3 – 5 bước nhảy (hops), tìm ra các liên kết ẩn giữa 40 triệu tài liệu mà tìm kiếm vector thông thường hoàn toàn bỏ sót.

# Kiến trúc trích xuất cạnh đồ thị xác định: Streaming XML sang Parquet
import gzip
from pathlib import Path
import xml.etree.ElementTree as ET
import pyarrow as pa
import pyarrow.parquet as pq

# Định nghĩa Schema chuẩn cho cạnh quan hệ (Graph Edges)
EDGE_SCHEMA = pa.schema([
    (“source_id”, pa.string()),
    (“relationship”, pa.string()),
    (“target_id”, pa.string())
])

def extract_edges_from_node(record):
    source_id = record.findtext(“id”)
    if not source_id:
        return []     edges = []     for rel in record.findall(“./relations/relation”):
        target = rel.findtext(“target”)
        rel_type = rel.findtext(“type”)
        if target and rel_type:
            edges.append({
                “source_id”: source_id.strip(),
                “relationship”: rel_type.strip(),
                “target_id”: target.strip()
            })
    return edges

def stream_xml_to_parquet(gz_path, parquet_writer, batch_size=50000):
    batch = []     records_count, edges_count = 0, 0
    with gzip.open(gz_path, “rb”) as stream:
        # Lắng nghe sự kiện kết thúc thẻ để đọc từng thực thể
        for _, element in ET.iterparse(stream, events=(“end”,)):
            if element.tag == “record”:
                records_count += 1
                batch.extend(extract_edges_from_node(element))
                # Giải phóng node khỏi bộ nhớ DOM ngay lập tức
                element.clear()

                if len(batch) >= batch_size:
                    table = pa.Table.from_pylist(batch, schema=EDGE_SCHEMA)
                    parquet_writer.write_table(table)
                    edges_count += len(batch)
                    batch.clear()

    if batch:
        table = pa.Table.from_pylist(batch, schema=EDGE_SCHEMA)
        parquet_writer.write_table(table)
        edges_count += len(batch)
    return records_count, edges_count

Tổng Kết Lợi Ích Kinh Tế & Vận Hành (ROI) Của Kiến Trúc:

• Tiết kiệm hơn 80% chi phí AI: Giữ lại $26.400 trên tổng ngân sách dự kiến $33.000, dành tài nguyên suy luận cho tác vụ phân tích thực sự của Agent.
• Khả năng tái lập 100% (Reproducibility): Quá trình tạo đồ thị hoàn toàn dựa trên mã xác định, không lo lỗi thay đổi kết quả do cập nhật phiên bản model.
• Triển khai mượt mà cho Production: Dễ dàng scale trên các cụm tính toán đám mây như AWS EMR, Databricks hoặc máy trạm hiệu năng cao cục bộ.

Q1: Agentic Knowledge Graph khác gì so với Knowledge Graph truyền thống?

Knowledge Graph truyền thống chủ yếu phục vụ con người tra cứu hoặc chạy câu lệnh SQL/SPARQL cứng. Trong khi đó, Agentic Knowledge Graph được thiết kế riêng với các công cụ gọi hàm (Tool Calling) để các AI Agent tự hành có thể tự phân tích mục tiêu, tự sinh truy vấn đồ thị đa bước và tự điều chỉnh hành vi khi gặp dữ liệu khuyết thiếu.

Q2: Tại sao định dạng Parquet lại thích hợp cho đồ thị hàng tỷ cạnh?

Parquet lưu trữ theo cấu trúc cột (Columnar Storage) kèm metadata thống kê vùng (Min/Max per Row Group). Khi AI Agent cần lọc theo loại quan hệ relationship == 'WORKS_FOR', hệ thống chỉ cần đọc đúng cột dữ liệu đó từ đĩa mà không cần tải toàn bộ nội dung văn bản, giúp tăng tốc độ đọc từ 10 đến 50 lần so với JSON hay CSV.

Q3: Khi nào bắt buộc phải dùng LLM trong quy trình xây dựng đồ thị?

LLM chỉ thực sự cần thiết khi tài liệu là văn bản tự do hoàn toàn không có cấu trúc (Unstructured Prose), nơi các mối quan hệ ngữ nghĩa bị ẩn giấu dưới dạng ẩn dụ hoặc phụ thuộc vào ngữ cảnh sâu mà biểu thức chính quy hay từ điển không thể bao quát.

Nguồn dữ liệu và bài báo nghiên cứu tham khảo:

https://levelup.gitconnected.com/structuring-40-million-documents-into-an-agentic-knowledge-graph-92010e609dfa