Đọc Phụ Đề SRT Thời Gian Thực Với AI VieNeu Trên GPU VKong

💡 Điểm Cốt Lõi Về Giải Pháp Đọc Phụ Đề Real-time Với VieNeu & VKong

• VieNeu-TTS v3 Turbo là gì? Là mô hình Text-to-Speech mã nguồn mở tối ưu riêng cho tiếng Việt với 25 giọng đọc gốc (Bắc, Trung, Nam), cung cấp cơ chế stream tức thì với thời gian phản hồi âm thanh đầu tiên TTFA ~115ms.
• Giải quyết độ trễ SRT: Thay vì chờ kết xuất cả file phụ đề hàng trăm câu, ứng dụng bóc tách từng mốc thời gian, đẩy text lên GPU và phát âm thanh ngay lập tức theo dòng thời gian thực của video.
• Hạ tầng Cloud GPU VKong: Cho phép thuê card đồ họa (RTX 3060 tiết kiệm, VRAM tiêu thụ chỉ ~1.1GB) theo giờ, hỗ trợ lệnh vkong dev và vkong attach --update đồng bộ mã nguồn trong vài giây.
• Tính năng nâng cao: Tự động đổi giọng đọc theo nhân vật ([Tên Nhân Vật]: Lời thoại), hỗ trợ biểu cảm ([cười], [thở dài]) và nhân bản giọng nói tức thì (Zero-shot Voice Cloning) chỉ với mẫu thu âm từ 3 đến 8 giây.

Hình 1: Hạ tầng Cloud GPU VKong cung cấp năng lực xử lý song song tốc độ cao cho mô hình VieNeu-TTS.

Hình 2: Luồng âm thanh PCM 48kHz Mono được giải mã tức thời từ bộ nhớ RAM không lưu file tạm.

app: vieneu-srt-streaming
image: pytorch/pytorch:2.4.0-cuda12.1-cudnn9-runtime
gpu: rtx3060 # Thuê dòng card RTX 3060 tiết kiệm theo tài liệu chuẩn VKong
init_cmd: |
  apt-get update && apt-get install -y ffmpeg
  pip install torch==2.8.0 torchaudio==2.8.0 --index-url https://pytorch.org
  pip install "transformers==4.57.6" vieneu fastapi uvicorn srt requests pygame numpy

# serve.py
import os
import shutil
from fastapi import FastAPI, HTTPException, UploadFile, File, Form
from fastapi.responses import StreamingResponse
from pydantic import BaseModel
from vieneu import Vieneu

app = FastAPI()

print("--> Dang nap mo hinh VieNeu-TTS v3 Turbo tren GPU...")
tts = Vieneu()
print("--> Mo hinh san sang.")

UPLOAD_DIR = "/tmp/vieneu_clones"
os.makedirs(UPLOAD_DIR, exist_ok=True)
VALID_VOICES = [label for label, _ in tts.list_preset_voices()]

@app.get("/voices")
def get_voices():
    return {"voices": VALID_VOICES}

@app.post("/clone_voice")
async def clone_voice(voice_name: str = Form(...), file: UploadFile = File(...)):
    try:
        path = os.path.join(UPLOAD_DIR, f"{voice_name}.wav")
        with open(path, "wb") as buffer:
            shutil.copyfileobj(file.file, buffer)
        # Nhan ban giong voi pipeline khu nhieu nen tu dong
        tts.add_voice(voice_name, path, denoise=True)
        return {"status": "success", "message": f"Da nhan ban giong {voice_name}"}
    except Exception as e:
        raise HTTPException(status_code=500, detail=str(e))

class TTSRequest(BaseModel):
    text: str
    voice: str

@app.post("/stream")
async def stream_tts(req: TTSRequest):
    try:
        target_text = req.text
        target_voice = req.voice

        # Xu ly hoi thoai da nhan vat: [Ten Nhan Vat]: Loi thoai
        if target_text.startswith("[") and "]:" in target_text:
            parts = target_text.split("]:", 1)
            potential_voice = parts[0].replace("[", "").strip()
            target_voice = potential_voice
            target_text = parts[1].strip()

        def audio_generator():
            for chunk in tts.infer_stream(target_text, voice=target_voice):
                yield chunk.tobytes()

        return StreamingResponse(audio_generator(), media_type="audio/pcm")
    except Exception as e:
        raise HTTPException(status_code=500, detail=str(e))

if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app, host="0.0.0.0", port=8000)

# Trich doan ham phat hoi thoai toi uu bo dem trong app.py
def playback_loop(self):
    import queue
    start_time_timeline = time.time()
    base_voice = self.voice_cb.get()

    for sub in self.subtitles:
        if not self.is_playing: break

        # Dong bo thoi gian theo moc timeline cua file phu de
        target_start = sub.start.total_seconds()
        while (time.time() - start_time_timeline) = 16384:
                        audio_np = np.frombuffer(audio_bytes, dtype=np.float32)
                        sound = pygame.mixer.Sound(buffer=(audio_np * 32767).astype(np.int16).tobytes())
                        sound.play()
                        audio_bytes = bytearray()
        except Exception as e:
            print(f"Loi truyen tai luong: {e}")

Hình 3: Thiết bị thu âm rõ nét là tiền đề tạo nên mẫu âm chuẩn cho tính năng Zero-shot Voice Cloning.

1
00:00:01,000 –> 00:00:03,500
[Hải Đăng]: Chào bạn, hôm nay chúng ta cùng tìm hiểu về AI Speech nhé!

2
00:00:04,000 –> 00:00:06,800
[Mai Anh]: Tuyệt vời quá, mình rất mong chờ giải pháp này [cười].

Trang Bị Thiết Bị Cho Phòng Thu & Xử Lý AI Speech Chuyên Nghiệp

Để thu được mẫu âm trong trẻo nhất phục vụ Voice Cloning và chạy mô hình mượt mà, hãy tham khảo các thiết bị chính hãng sau:

Nguồn tài liệu tham khảo kỹ thuật (Reference Citations):

1. VKong Cloud GPU Platform: “Development Workflow, Deployment Configuration & Resource Management Guidelines” (vkong.tli-tech.com/vi/docs/dev-workflow).

2. VieNeu-TTS GitHub Repository: “Vietnamese Open-source Text-to-Speech Engine with Instant Voice Cloning” (github.com/pnnbao97/VieNeu-TTS).

3. Đỗ Tiểu Thiện (dotieuthien/vieneu-tts): “Analysis of Low Latency Streaming Audio, CUDA Graphs and TTS Benchmark in Production” (github.com/dotieuthien/vieneu-tts).

4. Pygame Community & FastSound: “Real-time Low Latency Audio Playback using Pygame Mixer and Raw PCM Byte Buffers”.

5. FastAPI Official Documentation: “Asynchronous Streaming Responses and Generator Chunk Processing for Deep Learning Models”.