Від джерела даних до розумного аналізу: аналіз розвитку індексації даних Web3
1. Вступ
З моменту появи перших децентралізованих застосунків у 2017 році, екосистема блокчейну стрімко розвивалася, і різноманітні dApp з'являлися як гриби після дощу. Коли ми обговорюємо ці децентралізовані застосунки, чи замислювалися ми над джерелами даних, на яких вони базуються?
У 2024 році штучний інтелект і Web3 стануть гарячими темами. У сфері ШІ дані є джерелом життя, що стимулює безперервну еволюцію розумних систем. Як рослинам потрібні сонячне світло та волога, так і системи ШІ залежать від величезних обсягів даних для навчання та мислення. Без підтримки даних жоден найсучасніший алгоритм ШІ не зможе розкрити свій потенціал.
Ця стаття глибоко дослідить еволюцію доступності даних блокчейну, порівнюючи традиційні протоколи індексації даних з новими послугами даних блокчейну, з особливою увагою до інновацій у даних послугах та архітектурі продуктів, що поєднують технології ШІ.
2. Еволюція індексації даних: від вузлів блокчейну до повноцінної бази даних мережі
2.1 Джерело даних: вузли блокчейну
Блокчейн називається децентралізованою бухгалтерською книгою, а вузли блокчейну є основою цієї мережі, відповідальні за запис, зберігання та поширення даних транзакцій в ланцюгу. Кожен вузол зберігає повну копію даних блокчейну, забезпечуючи децентралізовані характеристики мережі. Однак для звичайних користувачів самостійне створення та обслуговування вузлів не лише має високий технічний поріг, але й потребує витрат на дороге обладнання та пропускну здатність. Крім того, можливості запиту звичайних вузлів обмежені, що ускладнює задоволення потреб розробників. Тому, хоча теоретично кожен може запустити вузол, на практиці користувачі більше схильні покладатися на послуги третіх сторін.
Щоб вирішити цю проблему, виникли постачальники RPC-узлів. Вони беруть на себе витрати на управління узлами та надають послуги доступу до даних через RPC-інтерфейси. Публічні RPC-інтерфейси безкоштовні, але мають обмеження швидкості, що може вплинути на досвід користувачів dApp. Приватні RPC-інтерфейси мають кращу продуктивність, але неефективні для складних запитів і важко масштабуються між мережами. Незважаючи на це, стандартизовані API-інтерфейси постачальників узлів знижують бар'єри доступу користувачів до даних в ланцюгу, закладаючи основу для подальшої обробки даних та застосувань.
2.2 Аналіз даних: від сирих даних до корисної інформації
Дані, які надають вузли блокчейну, зазвичай підлягають шифруванню та кодуванню, що, хоча і забезпечує цілісність та безпеку даних, також ускладнює їх аналіз. Для звичайних користувачів і розробників безпосередня обробка цих даних вимагає великих технічних знань та обчислювальних ресурсів.
Процес解析 даних у цьому контексті є особливо важливим. Перетворюючи складні первинні дані в зручний для розуміння та використання формат, користувачі можуть більш інтуїтивно використовувати цю інформацію. Якість解析 безпосередньо впливає на ефективність та результативність застосування даних блокчейну, є ключовим етапом у всьому процесі індексації даних.
2.3 Розвиток індексаторів даних
З ростом обсягу даних блокчейну потреба в індексаторах стає все більш помітною. Індексатори відповідають за організацію даних на ланцюгу та їх імпорт до бази даних для запитів. Вони індексують дані блокчейну та надають API-інтерфейси з мовою запитів, подібною до SQL, такі як GraphQL (, що робить дані завжди доступними. Індексатори надають розробникам єдиний інтерфейс для запитів, що значно спрощує процес отримання даних.
Різні типи індексаторів мають свої переваги:
Повний вузол індексатор: безпосередньо витягує дані з повного вузла, забезпечуючи цілісність даних, але вимагає значних обсягів пам'яті та обробних потужностей.
Легкий індексатор: залежить від повних вузлів для отримання специфічних даних, зменшуючи вимоги до зберігання, але може збільшити час запиту.
Спеціалізований індексатор: оптимізований для певних типів даних або блокчейну, таких як дані NFT або DeFi-транзакції.
Агент агрегування: витягує дані з кількох блокчейнів і джерел, включаючи поза ланцюгову інформацію, надає єдиний інтерфейс запитів, підходить для багатоланцюгових dApp.
Наразі, архівні вузли Ethereum займають простір від 3TB до 13.5TB на різних клієнтах. З огляду на таку величезну кількість даних, основні протоколи індексації не лише підтримують багатоланцеву індексацію, але й налаштували рамки для解析 даних під різні потреби застосування, такі як "підграф" The Graph.
Поява індексаторів значно підвищила ефективність індексації та запитів даних. На відміну від традиційних RPC-інтерфейсів, індексатори можуть ефективно обробляти великі обсяги даних, підтримуючи складні запити та фільтрацію даних. Деякі індексатори також підтримують агрегацію даних з кількох блокчейнів, уникаючи проблеми, коли багато ланцюгів dApp потрібно розгортати кілька API. Завдяки розподіленій роботі, індексатори забезпечують вищу безпеку та продуктивність, зменшуючи ризик переривання, пов'язаний із централізованими RPC-постачальниками.
![Читання, індексація до аналізу, короткий опис сектора індексації даних Web3])https://img-cdn.gateio.im/webp-social/moments-587ce87f6dbedee4acec7d939fed6980.webp(
) 2.4 Повна ланцюгова база даних: вирівнювання з пріоритетом на потік
З ростом складності вимог до застосувань, початкові індексатори даних та їх стандартизовані формати не можуть задовольнити різноманітні вимоги до запитів, такі як пошук, кросчейн-доступ або відображення даних поза ланцюгом. Постачальники послуг даних блокчейна розвиваються в напрямку побудови потоків даних, щоб задовольнити потреби в реальному часі та всебічному запиті.
Традиційні постачальники індексувальних послуг почали впроваджувати продукти потокових даних, такі як Substreams від The Graph та Mirror від Goldsky. Одночасно нові послуги, такі як Chainbase та SubSquid, також надають реальні озера даних, згенеровані на основі блокчейну. Ці послуги спрямовані на підтримку розвитку додатків та допомогу в аналізі даних на ланцюгу через більш прогресивні джерела даних.
Переглядаючи дані в ланцюгу з точки зору сучасних даних, ми можемо уявити майбутнє, яке зможе налаштувати високопродуктивні набори даних для будь-якого бізнес-кейсу.
3. Злиття AI та бази даних: Порівняльний аналіз The Graph, Chainbase та Space and Time
3.1 Граф
Мережа The Graph надає послуги індексації та запитів даних з багатьох ланцюгів через децентралізовані вузли, що полегшує розробку децентралізованих додатків. Її основні продуктові моделі включають ринок виконання запитів даних і ринок кешування індексів даних, які задовольняють запити користувачів.
Мережа складається з чотирьох ролей: індексаторів, кураторів, делегаторів та розробників, які забезпечують роботу системи через економічні стимули. Індексатори надають послуги індексації та запитів, делегатори підтримують роботу вузлів індексації, куратори відбирають цінні підграфи, а розробники є основними користувачами.
Екосистема The Graph активно впроваджує технології штучного інтелекту. Інструменти, розроблені Semiotic Labs, такі як AutoAgora, Allocation Optimizer та AgentC, оптимізують ціноутворення індексів, розподіл ресурсів та досвід запитів користувачів, підвищуючи інтелектуальність системи та зручність для користувачів.
![Читання, індексація до аналізу, короткий опис траси індексації даних Web3]###https://img-cdn.gateio.im/webp-social/moments-cf9a002b9b094fbbe3be7f611001b5c1.webp(
) 3.2 Ланцюгова база
Chainbase як повноцінна мережа даних, інтегрує дані з різних блокчейнів, спрощуючи процес розробки та обслуговування додатків для розробників. Його спеціальні функції включають:
Реальний дата-озеро: забезпечує миттєвий доступ до потоків даних блокчейн.
Подвійна архітектура: побудована на основі Eigenlayer AVS, виконавчий рівень, паралельно з алгоритмом узгодження CometBFT, посилює можливості обробки міжмережевих даних.
Інноваційний формат даних: впровадження стандарту "manuscripts", оптимізація структури даних у криптоіндустрії.
Модель крипто-світу: поєднуючи технології ШІ, створити модель, яка може розуміти та прогнозувати транзакції в блокчейні, як базова версія Theia.
AI-модель Theia від Chainbase базується на моделі DORA від NVIDIA, поєднуючи аналіз зовнішніх даних в режимі блокчейн з криптографічною моделлю, реагуючи через причинно-наслідковий аналіз, глибоко досліджуючи цінність даних в блокчейні та надаючи інтелектуальні дані послуги.
![Зчитування, індексація та аналіз, короткий опис сектора індексації даних Web3]###https://img-cdn.gateio.im/webp-social/moments-b343cab5112c1a3d52f4e72122ae0df2.webp(
) 3.3 Простір і час
Space and Time ###SxT( прагне створити перевіряємий обчислювальний рівень, розширюючи нульові знання в децентралізованих сховищах даних, щоб забезпечити надійну обробку даних для смарт-контрактів, великих мовних моделей та підприємств.
SxT впроваджує інноваційну технологію Proof of SQL, яка є технологією нульового знання, що забезпечує перевірку та захист від підробок результатів SQL-запитів, виконаних на децентралізованих сховищах даних. На відміну від традиційних блокчейн-мереж, які покладаються на механізми консенсусу, SxT отримує дані через один вузол, тоді як інші вузли використовують технологію zk для перевірки справжності даних, що покращує продуктивність системи.
SxT співпрацює з лабораторією штучного інтелекту Microsoft, розробляючи інструменти генеративного штучного інтелекту, щоб спростити процес обробки даних блокчейн за допомогою обробки природної мови. У Space and Time Studio користувачі можуть вводити запити природною мовою, а ШІ автоматично перетворює їх на SQL та виконує, представляючи остаточний результат.
![Читання, індексація до аналізу, короткий опис трасування даних Web3])https://img-cdn.gateio.im/webp-social/moments-97443cbd177ac4ffd1665da670ffbf12.webp(
Висновок та перспективи
Технологія індексації даних блокчейну пройшла шлях від початкових джерел даних вузлів, через розвиток解析у даних та індексаторів, до остаточного переходу до повноцінних сервісів даних з підтримкою AI, пройшовши поступовий процес вдосконалення. Ці технологічні досягнення не лише підвищили ефективність та точність доступу до даних, а й забезпечили користувачів інтелектуальним досвідом.
У майбутньому, з розвитком нових технологій, таких як технології штучного інтелекту та нульових знань, послуги блокчейн-даних стануть ще більш інтелектуальними та безпечними. Як інфраструктура, послуги блокчейн-даних продовжать відігравати важливу роль в інноваціях у галузі.
![Читання, індексація до аналізу, короткий опис індексації даних Web3])https://img-cdn.gateio.im/webp-social/moments-0742180b7da8a9dcddafc465a4dba9cb.webp(
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
17 лайків
Нагородити
17
4
Репост
Поділіться
Прокоментувати
0/400
VCsSuckMyLiquidity
· 08-10 01:22
Знову малюють BTC, дані хороші.
Переглянути оригіналвідповісти на0
TokenTaxonomist
· 08-10 01:12
*коригує окуляри для електронних таблиць*
статистично кажучи, 94.3% цих гібридів AI-Web3 є просто еволюційними мертвими кінцями
Переглянути оригіналвідповісти на0
PaperHandSister
· 08-10 01:05
Рибу та ведмежі лапи не можна поєднувати! ШІ не може грати з даними, я вже купив на піку.
Переглянути оригіналвідповісти на0
MoonBoi42
· 08-10 01:04
Дані добре, спочатку займімося AI, а потім поговоримо.
Нові тенденції розвитку індексації даних Web3: AI надає можливості для повноцінного обслуговування даних у всіх ланках
Від джерела даних до розумного аналізу: аналіз розвитку індексації даних Web3
1. Вступ
З моменту появи перших децентралізованих застосунків у 2017 році, екосистема блокчейну стрімко розвивалася, і різноманітні dApp з'являлися як гриби після дощу. Коли ми обговорюємо ці децентралізовані застосунки, чи замислювалися ми над джерелами даних, на яких вони базуються?
У 2024 році штучний інтелект і Web3 стануть гарячими темами. У сфері ШІ дані є джерелом життя, що стимулює безперервну еволюцію розумних систем. Як рослинам потрібні сонячне світло та волога, так і системи ШІ залежать від величезних обсягів даних для навчання та мислення. Без підтримки даних жоден найсучасніший алгоритм ШІ не зможе розкрити свій потенціал.
Ця стаття глибоко дослідить еволюцію доступності даних блокчейну, порівнюючи традиційні протоколи індексації даних з новими послугами даних блокчейну, з особливою увагою до інновацій у даних послугах та архітектурі продуктів, що поєднують технології ШІ.
2. Еволюція індексації даних: від вузлів блокчейну до повноцінної бази даних мережі
2.1 Джерело даних: вузли блокчейну
Блокчейн називається децентралізованою бухгалтерською книгою, а вузли блокчейну є основою цієї мережі, відповідальні за запис, зберігання та поширення даних транзакцій в ланцюгу. Кожен вузол зберігає повну копію даних блокчейну, забезпечуючи децентралізовані характеристики мережі. Однак для звичайних користувачів самостійне створення та обслуговування вузлів не лише має високий технічний поріг, але й потребує витрат на дороге обладнання та пропускну здатність. Крім того, можливості запиту звичайних вузлів обмежені, що ускладнює задоволення потреб розробників. Тому, хоча теоретично кожен може запустити вузол, на практиці користувачі більше схильні покладатися на послуги третіх сторін.
Щоб вирішити цю проблему, виникли постачальники RPC-узлів. Вони беруть на себе витрати на управління узлами та надають послуги доступу до даних через RPC-інтерфейси. Публічні RPC-інтерфейси безкоштовні, але мають обмеження швидкості, що може вплинути на досвід користувачів dApp. Приватні RPC-інтерфейси мають кращу продуктивність, але неефективні для складних запитів і важко масштабуються між мережами. Незважаючи на це, стандартизовані API-інтерфейси постачальників узлів знижують бар'єри доступу користувачів до даних в ланцюгу, закладаючи основу для подальшої обробки даних та застосувань.
2.2 Аналіз даних: від сирих даних до корисної інформації
Дані, які надають вузли блокчейну, зазвичай підлягають шифруванню та кодуванню, що, хоча і забезпечує цілісність та безпеку даних, також ускладнює їх аналіз. Для звичайних користувачів і розробників безпосередня обробка цих даних вимагає великих технічних знань та обчислювальних ресурсів.
Процес解析 даних у цьому контексті є особливо важливим. Перетворюючи складні первинні дані в зручний для розуміння та використання формат, користувачі можуть більш інтуїтивно використовувати цю інформацію. Якість解析 безпосередньо впливає на ефективність та результативність застосування даних блокчейну, є ключовим етапом у всьому процесі індексації даних.
2.3 Розвиток індексаторів даних
З ростом обсягу даних блокчейну потреба в індексаторах стає все більш помітною. Індексатори відповідають за організацію даних на ланцюгу та їх імпорт до бази даних для запитів. Вони індексують дані блокчейну та надають API-інтерфейси з мовою запитів, подібною до SQL, такі як GraphQL (, що робить дані завжди доступними. Індексатори надають розробникам єдиний інтерфейс для запитів, що значно спрощує процес отримання даних.
Різні типи індексаторів мають свої переваги:
Наразі, архівні вузли Ethereum займають простір від 3TB до 13.5TB на різних клієнтах. З огляду на таку величезну кількість даних, основні протоколи індексації не лише підтримують багатоланцеву індексацію, але й налаштували рамки для解析 даних під різні потреби застосування, такі як "підграф" The Graph.
Поява індексаторів значно підвищила ефективність індексації та запитів даних. На відміну від традиційних RPC-інтерфейсів, індексатори можуть ефективно обробляти великі обсяги даних, підтримуючи складні запити та фільтрацію даних. Деякі індексатори також підтримують агрегацію даних з кількох блокчейнів, уникаючи проблеми, коли багато ланцюгів dApp потрібно розгортати кілька API. Завдяки розподіленій роботі, індексатори забезпечують вищу безпеку та продуктивність, зменшуючи ризик переривання, пов'язаний із централізованими RPC-постачальниками.
![Читання, індексація до аналізу, короткий опис сектора індексації даних Web3])https://img-cdn.gateio.im/webp-social/moments-587ce87f6dbedee4acec7d939fed6980.webp(
) 2.4 Повна ланцюгова база даних: вирівнювання з пріоритетом на потік
З ростом складності вимог до застосувань, початкові індексатори даних та їх стандартизовані формати не можуть задовольнити різноманітні вимоги до запитів, такі як пошук, кросчейн-доступ або відображення даних поза ланцюгом. Постачальники послуг даних блокчейна розвиваються в напрямку побудови потоків даних, щоб задовольнити потреби в реальному часі та всебічному запиті.
Традиційні постачальники індексувальних послуг почали впроваджувати продукти потокових даних, такі як Substreams від The Graph та Mirror від Goldsky. Одночасно нові послуги, такі як Chainbase та SubSquid, також надають реальні озера даних, згенеровані на основі блокчейну. Ці послуги спрямовані на підтримку розвитку додатків та допомогу в аналізі даних на ланцюгу через більш прогресивні джерела даних.
Переглядаючи дані в ланцюгу з точки зору сучасних даних, ми можемо уявити майбутнє, яке зможе налаштувати високопродуктивні набори даних для будь-якого бізнес-кейсу.
3. Злиття AI та бази даних: Порівняльний аналіз The Graph, Chainbase та Space and Time
3.1 Граф
Мережа The Graph надає послуги індексації та запитів даних з багатьох ланцюгів через децентралізовані вузли, що полегшує розробку децентралізованих додатків. Її основні продуктові моделі включають ринок виконання запитів даних і ринок кешування індексів даних, які задовольняють запити користувачів.
Мережа складається з чотирьох ролей: індексаторів, кураторів, делегаторів та розробників, які забезпечують роботу системи через економічні стимули. Індексатори надають послуги індексації та запитів, делегатори підтримують роботу вузлів індексації, куратори відбирають цінні підграфи, а розробники є основними користувачами.
Екосистема The Graph активно впроваджує технології штучного інтелекту. Інструменти, розроблені Semiotic Labs, такі як AutoAgora, Allocation Optimizer та AgentC, оптимізують ціноутворення індексів, розподіл ресурсів та досвід запитів користувачів, підвищуючи інтелектуальність системи та зручність для користувачів.
![Читання, індексація до аналізу, короткий опис траси індексації даних Web3]###https://img-cdn.gateio.im/webp-social/moments-cf9a002b9b094fbbe3be7f611001b5c1.webp(
) 3.2 Ланцюгова база
Chainbase як повноцінна мережа даних, інтегрує дані з різних блокчейнів, спрощуючи процес розробки та обслуговування додатків для розробників. Його спеціальні функції включають:
AI-модель Theia від Chainbase базується на моделі DORA від NVIDIA, поєднуючи аналіз зовнішніх даних в режимі блокчейн з криптографічною моделлю, реагуючи через причинно-наслідковий аналіз, глибоко досліджуючи цінність даних в блокчейні та надаючи інтелектуальні дані послуги.
![Зчитування, індексація та аналіз, короткий опис сектора індексації даних Web3]###https://img-cdn.gateio.im/webp-social/moments-b343cab5112c1a3d52f4e72122ae0df2.webp(
) 3.3 Простір і час
Space and Time ###SxT( прагне створити перевіряємий обчислювальний рівень, розширюючи нульові знання в децентралізованих сховищах даних, щоб забезпечити надійну обробку даних для смарт-контрактів, великих мовних моделей та підприємств.
SxT впроваджує інноваційну технологію Proof of SQL, яка є технологією нульового знання, що забезпечує перевірку та захист від підробок результатів SQL-запитів, виконаних на децентралізованих сховищах даних. На відміну від традиційних блокчейн-мереж, які покладаються на механізми консенсусу, SxT отримує дані через один вузол, тоді як інші вузли використовують технологію zk для перевірки справжності даних, що покращує продуктивність системи.
SxT співпрацює з лабораторією штучного інтелекту Microsoft, розробляючи інструменти генеративного штучного інтелекту, щоб спростити процес обробки даних блокчейн за допомогою обробки природної мови. У Space and Time Studio користувачі можуть вводити запити природною мовою, а ШІ автоматично перетворює їх на SQL та виконує, представляючи остаточний результат.
![Читання, індексація до аналізу, короткий опис трасування даних Web3])https://img-cdn.gateio.im/webp-social/moments-97443cbd177ac4ffd1665da670ffbf12.webp(
Висновок та перспективи
Технологія індексації даних блокчейну пройшла шлях від початкових джерел даних вузлів, через розвиток解析у даних та індексаторів, до остаточного переходу до повноцінних сервісів даних з підтримкою AI, пройшовши поступовий процес вдосконалення. Ці технологічні досягнення не лише підвищили ефективність та точність доступу до даних, а й забезпечили користувачів інтелектуальним досвідом.
У майбутньому, з розвитком нових технологій, таких як технології штучного інтелекту та нульових знань, послуги блокчейн-даних стануть ще більш інтелектуальними та безпечними. Як інфраструктура, послуги блокчейн-даних продовжать відігравати важливу роль в інноваціях у галузі.
![Читання, індексація до аналізу, короткий опис індексації даних Web3])https://img-cdn.gateio.im/webp-social/moments-0742180b7da8a9dcddafc465a4dba9cb.webp(
статистично кажучи, 94.3% цих гібридів AI-Web3 є просто еволюційними мертвими кінцями