AI Fundamentals
Những nền tảng giúp bạn hiểu model và hệ thống AI từ gốc.
Rate Limit, Retry và Exponential Backoff trong LLM API: Thiết kế để 429 không biến thành sự cố dây chuyền
Lỗi 429 không chỉ là chuyện gửi quá nhiều request. Bài viết xây dựng mental model đầy đủ về rate limit, retry, exponential backoff, jitter, timeout và backpressure khi tích hợp LLM API.
Transformer Là Gì? Hiểu Self-Attention, QKV Và Kiến Trúc Đứng Sau LLM
Transformer thay đổi cách mô hình xử lý sequence bằng cách để các token trực tiếp trao đổi thông tin qua Self-Attention. Bài viết đi từ trực giác QKV tới toán học, Multi-Head Attention và kiến trúc Encoder–Decoder.
LLM Inference Thực Sự Hoạt Động Như Thế Nào? Từ Prompt Đến Prefill, Decode Và KV Cache
Một request tới LLM không chỉ đơn giản là chạy model rồi trả về text. Bài viết đi từ tokenization và Transformer đến prefill, autoregressive decode, KV cache và những bottleneck quyết định hiệu năng inference thực tế.
Temperature, Top-p và Sampling: Vì Sao Cùng Một Prompt AI Có Thể Trả Lời Khác Nhau?
Cùng một prompt nhưng LLM có thể tạo ra nhiều câu trả lời khác nhau. Bài viết đi từ logits và softmax tới temperature, top-p, top-k để giải thích chính xác randomness xuất hiện ở đâu và cách tuning sampling trong thực tế.