Thứ Sáu sẽ thả một điều gì đó hoang dã—một buổi demo trực tiếp chạy các mô hình 70B tham số cho việc xử lý GraphRAG cục bộ. Hãy tưởng tượng điều này: 128GB bộ nhớ thống nhất xử lý việc trích xuất nút và mối quan hệ theo thời gian thực, không phụ thuộc vào đám mây.
Triển lãm hoàn toàn chạy trên kiến trúc thống nhất thế hệ tiếp theo, xử lý các đồ thị kiến thức khổng lồ trong khi duy trì tốc độ truy vấn dưới một giây. Chúng ta đang nói về việc chuyển đổi văn bản phi cấu trúc thành trí tuệ kết nối, tất cả diễn ra trên một thiết bị duy nhất.
Điều gì làm cho điều này hấp dẫn? Triển khai cục bộ có nghĩa là chủ quyền dữ liệu, chi phí dự đoán được và độ trễ mà các giải pháp đám mây không thể sánh kịp. Phân tích đồ thị gặp các mô hình ngôn ngữ quy mô biên giới—đó là điểm chuyển tiếp cho hạ tầng AI doanh nghiệp.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
14 thích
Phần thưởng
14
6
Đăng lại
Retweed
Bình luận
0/400
MetaverseLandlord
· 5giờ trước
Cơ sở dữ liệu bản đồ chạy địa phương 70B? Giờ các nhà cung cấp đám mây phải lo lắng rồi haha
Xem bản gốcTrả lời0
CodeSmellHunter
· 5giờ trước
ngl Cơ sở dữ liệu bản đồ 70B tại địa phương này thật sự thú vị, cuối cùng không cần phải dùng phiếu giảm giá từ nhà cung cấp đám mây nữa.
Xem bản gốcTrả lời0
GateUser-afe07a92
· 6giờ trước
Chạy GraphRAG tại chỗ 70B? Thật sự có thể làm được, dữ liệu không ra ngoài thật tuyệt vời
---
Bộ nhớ thống nhất 128GB ngay lập tức giải pháp đám mây, đây mới là hình mẫu của AI doanh nghiệp chứ
---
Tốc độ truy vấn cấp mili giây... cuối cùng cũng có người làm cho đồ thị và mô hình lớn hòa hợp với nhau
---
Triển khai tại chỗ thật tuyệt, không còn phải nhìn sắc mặt của nhà cung cấp đám mây nữa
---
Biểu đồ tri thức gặp mô hình cấp frontier, giờ đây AI doanh nghiệp đã có cơ hội rồi
---
Không cần lên đám mây, chi phí có thể kiểm soát, độ trễ thấp như vậy, tại sao mọi người vẫn còn do dự
---
Chỉ cần một máy đã có thể chạy được thứ lớn như vậy, chip thật tuyệt vời
---
Quyền sở hữu dữ liệu thật sự chạm đến điểm đau của doanh nghiệp
---
GraphRAG tại chỗ, đây mới thật sự là điểm chuyển mình!
Xem bản gốcTrả lời0
ContractFreelancer
· 6giờ trước
Ôi, chạy 70B tại địa phương không cần lên đám mây nữa? Đây mới thật sự là tự do.
Xem bản gốcTrả lời0
GasFeeLady
· 6giờ trước
không thể không nói là bộ nhớ thống nhất 128GB flex về cơ bản tương đương với việc bắt được khoảng thời gian gas tối ưu trước khi chiếc sandwich MEV tiếp theo đến... ngoại trừ việc nó thực sự tồn tại lâu hơn lmao
Xem bản gốcTrả lời0
tx_pending_forever
· 6giờ trước
Triển khai mô hình 70B tại chỗ? Giờ đây, dữ liệu doanh nghiệp không còn cần phải lên đám mây nữa, thực sự rất tuyệt.
Thứ Sáu sẽ thả một điều gì đó hoang dã—một buổi demo trực tiếp chạy các mô hình 70B tham số cho việc xử lý GraphRAG cục bộ. Hãy tưởng tượng điều này: 128GB bộ nhớ thống nhất xử lý việc trích xuất nút và mối quan hệ theo thời gian thực, không phụ thuộc vào đám mây.
Triển lãm hoàn toàn chạy trên kiến trúc thống nhất thế hệ tiếp theo, xử lý các đồ thị kiến thức khổng lồ trong khi duy trì tốc độ truy vấn dưới một giây. Chúng ta đang nói về việc chuyển đổi văn bản phi cấu trúc thành trí tuệ kết nối, tất cả diễn ra trên một thiết bị duy nhất.
Điều gì làm cho điều này hấp dẫn? Triển khai cục bộ có nghĩa là chủ quyền dữ liệu, chi phí dự đoán được và độ trễ mà các giải pháp đám mây không thể sánh kịp. Phân tích đồ thị gặp các mô hình ngôn ngữ quy mô biên giới—đó là điểm chuyển tiếp cho hạ tầng AI doanh nghiệp.