У п'ятницю відбувається дещо дике—живий демо показ, що демонструє моделі з 70B параметрами для локальної обробки GraphRAG. Уявіть собі: 128 ГБ єдиної пам'яті, що обробляє витягнення вузлів і відносин в реальному часі, без залежності від хмари.
Вітрина повністю працює на архітектурі наступного покоління, обробляючи масивні знання графіків, зберігаючи при цьому швидкість запитів менше секунди. Ми говоримо про перетворення неструктурованого тексту в зв'язану інтелектуальність, все це відбувається на одному пристрої.
Що робить це привабливим? Локальне розгортання означає суверенітет даних, передбачувані витрати та затримки, які не можуть зрівнятися з хмарними рішеннями. Графічна аналітика, що поєднується з мовними моделями на передньому краї—це точка перегину для інфраструктури підприємницького ШІ.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
14 лайків
Нагородити
14
6
Репост
Поділіться
Прокоментувати
0/400
MetaverseLandlord
· 4год тому
70B локальна база даних карт? Тепер хмарним постачальникам буде страшно, ха-ха
Переглянути оригіналвідповісти на0
CodeSmellHunter
· 4год тому
ngl локальна база даних 70B для бігу по карті - це трохи дивно, нарешті не потрібно використовувати кліпові купони у хмарних постачальників.
Переглянути оригіналвідповісти на0
GateUser-afe07a92
· 5год тому
70B локально запустити GraphRAG? Це дійсно дивовижний результат, дані не виходять за межі, кайфуєш
---
128GB єдина пам'ять миттєво замінює хмарні рішення, це те, яким має бути підприємницький AI
---
Швидкість запиту на мілісекунди... нарешті хтось зробив так, що граф і великі моделі зійшлися
---
Локальне розгортання дійсно круто, більше не потрібно дивитися на обличчя хмарних постачальників
---
Знання графів зустрічаються з моделями рівня frontier, тепер у підприємницького AI є шанс
---
Не потрібно виходити в хмари, витрати контрольовані, затримка така низька, чому всі ще вагаються
---
На одному комп'ютері можна запустити таку велику річ, чіп дійсно дивовижний
---
Питання суверенітету даних дійсно влучило в болючу точку підприємств
---
Локалізація GraphRAG, це справжня точка перелому!
Переглянути оригіналвідповісти на0
ContractFreelancer
· 5год тому
Ого, локально запускати 70B без хмари? Ось це справжня свобода!
Переглянути оригіналвідповісти на0
GasFeeLady
· 5год тому
чесно кажучи, 128 ГБ єдиної пам'яті flex — це фактично еквівалент того, щоб зловити оптимальне газове вікно перед наступним MEV-сендвічем... лише те, що він дійсно залишається, лол
Переглянути оригіналвідповісти на0
tx_pending_forever
· 5год тому
Локальне розгортання моделі 70B? Тепер підприємствам більше не потрібно завантажувати дані в хмару, дійсно привабливо.
У п'ятницю відбувається дещо дике—живий демо показ, що демонструє моделі з 70B параметрами для локальної обробки GraphRAG. Уявіть собі: 128 ГБ єдиної пам'яті, що обробляє витягнення вузлів і відносин в реальному часі, без залежності від хмари.
Вітрина повністю працює на архітектурі наступного покоління, обробляючи масивні знання графіків, зберігаючи при цьому швидкість запитів менше секунди. Ми говоримо про перетворення неструктурованого тексту в зв'язану інтелектуальність, все це відбувається на одному пристрої.
Що робить це привабливим? Локальне розгортання означає суверенітет даних, передбачувані витрати та затримки, які не можуть зрівнятися з хмарними рішеннями. Графічна аналітика, що поєднується з мовними моделями на передньому краї—це точка перегину для інфраструктури підприємницького ШІ.