Prompt
Hướng dẫn dễ hiểu về "Phương pháp tiết kiệm token của AICoworker" để bạn có thể bắt chước để tiết kiệm token tối đa và bào các gói AI của các AI Lab không để họ thắng trong cuộc chiến làm sao để lấy ra giá trị nhiều nhất từ mỗi đồng tokens bạn trả 🥺
- Nguyên lý số 1 luôn giữ ấm Prompt Cache
Để hiểu khái niệm này thì bạn cần hiểu là AI dùng Mô Hình Ngôn Ngữ Lớn (LLM) nguyên tắc là nó vẫn là xử lý "Chữ" (Text) mọi thứ AI làm cho bạn và bạn nói với AI đều là Text, bao gồm thứ quan trọng nhất là Lịch Sử Chat của bạn với AI, đây là thứ mà khi bạn nói chuyện với AI lâu với mấy con AI Chatbot như ChatGPT bạn thấy nó khôn ra là do cái chat history này dài ra và chứa nhiều thông tin mà bạn nói với nó đó, toàn bộ các text mà bạn trao đổi với AI, các tool mà AI xài, lịch sử chat … etc đều sẽ được đưa vào một khối text lớn gọi là Context (Ngữ Cảnh). Càng chat dài với AI, hay AI Agent làm chạy lâu, càng xài nhiều tool, làm nhiều việc thì cái Context này sẽ to ra vl luôn. Mà quan trọng là mỗi lần AI thao tác cái gì hay trả lời bạn cái gì thì nó lại phải "vận động bộ não LLM" của nó để đọc toàn bộ khối Text to vl này để suy nghĩ và hành động hay trả lời, mà mỗi lần nó vận động não là 1 lần tốn tiền, tốn tiền cả 2 chiều cho "Đọc vào" (gọi là Token Input) và cả cho chiều "Viết ra" (Token Output). Trên hình bạn thấy là chi phí bằng tiền nếu bạn trả full cho việc vận động bộ não này khoảng gần 500$ cho mấy triệu tokens não xử lý :))) vl đắt chưa :)))
Nếu thu tiền đắt thế thì ai dám xài AI nữa ? :)) nên các AI Lab buộc phải tìm cách tiết kiệm chi phí cho bạn và cho chính bọn nó :))
# Giải pháp là Prompt Caching:
Đơn giản là bộ não LLM sẽ nhớ tạm thời toàn bộ đám Text to vl mà mình nói ở trên (Context) vào bộ nhớ VRAM trên máy chủ của AI Lab, sau khi AI nhớ tạm đám text to vl đầu vào ấy thì khi nó trả lời ra thì AI chỉ tính tiền các token nó sinh ra thôi, còn đám text to vl đầu vào ấy bọn AI Lab thu 1 khoản tiền rất nhỏ (rẻ hơn 10 lần) để nhớ tạm giúp bạn đoạn văn bản to vl ấy trong 5 phút. Giống kiểu một ông luật sư sẽ đọc một văn bản luật rất dài tầm 900 kí tự rồi nhớ vào trí nhớ tạm thời của ổng rồi đứng ra trước toà cãi trong 5p. Sau 5p đó nếu ông ấy không cãi thêm gì nữa thì ông ấy sẽ ngồi xuống nghỉ và quên béng cái văn bản luật rất dài mà ông ta đọc và nhớ trước đó 😀 Còn nếu ông ấy liên tục cãi trong 30p thì cái văn bản đó ko tốn năng lượng của ổng vì ổng chỉ phải đọc và nhớ có 1 lần thôi, còn 30p đó ổng cãi bằng trí nhớ đã hớ rồi :))) đấy dễ hiểu là thế.
Nên "Nguyên lý 01 luôn dữ ấm Prompt Cache" đơn giản là đứng cãi lộn liên tiếp với AI đừng có nghỉ quá 5p, vì quá 5p là ông AI ổng quên hết cái văn bản dài vl đầu vào và ổng phải đi đọc lại thì bạn tốn 1 mớ tiền kinh khủng cho ổng đi đọc lại văn bản dài vl từ đầu.
Trên AI Coworker thì để thực hiện nguyên lý này tự động thì cứ gần hết 5 phút Prompt Cache thì AI Coworker sẽ tự "Say Hi" con AI 1 nhát giả bộ đang cãi lộn với nó để nó nhớ tiếp mà ko nghỉ :))) dĩ nhiên ko nên cứ giả bộ cãi lộn vầy lâu quá, nên tối đa là 30 phút thôi về mặt kinh tế thì dưới 30p thì chúng ta có lợi còn trên 30p thì bắt đầu hết lợi rồi nên ngưng.
- Nguyên lý thứ 2, nếu Prompt Cache đã nguội (bộ nhớ tạm đã quên) mà muốn xài tiếp thì nên xoá bớt những thông tin không cần thiết khỏi Context (đám text dài vl) để nó bớt dài vl đi thì khi bộ não AI phải đọc lại sẽ đọc ít text hơn và nhớ ít text hơn thì nó sẽ rẻ hơn rất nhiều vì dù gì cũng phải trả full tiền thì cố gắng trả ít nhất có thể :)))
Nguyên lý này thì bạn không thể làm với các platform AI Agent khác được vì không ông nào hỗ trợ bạn xoá bớt text trong context, và bạn cũng không biết là nên xoá gì khỏi Context mà ko làm AI "ngu đi" 🙃
Để thực hiện được điều này thì AI Coworker tự động dùng chính con AI Agent đang chat và làm việc cho bạn, trong quá trình nó làm việc cho bạn thì nó đã nhớ toàn bộ context rồi, nó biết đoạn text nào trong đó có giá trị với nó, đoạn nào thì ko cần nữa (ví dụ mấy tool nó gọi bị lỗi, mấy đoạn mà bạn đổi ý, các thông tin ko còn phù hợp nữa… etc) con AI Agent sẽ tự đánh dấu các đoạn text đó là "rác", và ở sau này khi Prompt Cache của bạn bị "nguội" thì ở lần làm việc tiếp theo đáng nhẽ bản phải trả tiền cho 1 đám text đầu vào to vl chứa đầy rác, thì AI Coworker đơn giản là xoá béng đám rác khỏi Context cho bạn và bạn chỉ phải trả tiền cho bộ não AI đọc và nhớ đoạn text bé hơn tới 80%-90% so với trước lúc dọn 🥺
Đó tips đơn giản vậy thôi, bạn thấy hay thì LIKE và Share giúp mình vượt bóp nhé