Эволюция индексации данных блокчейна: от узла до AI базы данных всей цепи
1. Введение
С момента появления первых децентрализованных приложений (dApp) в 2017 году экосистема Блокчейн активно развивалась, и появилось множество финансовых, игровых и социальных dApp на основе различных Блоков. Однако, различные источники данных, на которые полагаются эти приложения в процессе взаимодействия, заслуживают нашего глубокого размышления.
В 2024 году искусственный интеллект и Web3 станут горячими темами. В области ИИ данные подобны источнику жизни, движущему обучением и эволюцией систем. Без поддержки огромного объема данных даже самые сложные алгоритмы ИИ не смогут раскрыть свой потенциал.
В данной статье будет проведен глубокий анализ эволюции индексации данных в процессе развития отрасли с точки зрения доступности данных в Блокчейн. Мы также сравним традиционный протокол индексирования данных The Graph с новыми протоколами блокчейн-сервисов Chainbase и Space and Time, обсудим сходства и различия этих новых протоколов, сочетающих технологии ИИ, в области услуг данных и архитектуры продуктов.
2. Эволюция индексирования данных: от узлов Блокчейн до полной базы данных
2.1 Источник данных: Узел Блокчейн
Блокчейн называется децентрализованной бухгалтерской книгой, а узел является основой этой сети. Каждый узел хранит полную копию данных Блокчейн, обеспечивая децентрализованные характеристики сети. Однако для обычных пользователей создание и обслуживание узлов не только требует высоких технических навыков, но и влечет за собой значительные затраты на оборудование и пропускную способность.
Чтобы решить эту проблему, появились поставщики RPC-узлов. Они отвечают за эксплуатацию узлов и предоставляют пользователям доступ к данным через RPC-эндпоинты. Хотя общие RPC-эндпоинты бесплатны, они имеют ограничения по скорости, что может повлиять на пользовательский опыт dApp. Частные RPC-эндпоинты, хотя и имеют лучшую производительность, все же неэффективны для сложных запросов и трудно масштабируются по сети. Тем не менее, стандартизированный API-интерфейс поставщиков узлов снижает барьеры для пользователей при доступе к данным на блокчейне, что закладывает основу для последующей обработки данных и применения.
2.2 Анализ данных: от сырых данных до полезных данных
Данные, предоставляемые узлами Блокчейна, обычно подвергаются шифрованию и кодированию, что, хотя и обеспечивает целостность и безопасность данных, также увеличивает сложность их обработки. Для обычных пользователей и разработчиков прямая работа с этими данными требует значительных профессиональных знаний и вычислительных ресурсов.
Таким образом, процесс анализа данных становится особенно важным. Преобразуя сложные исходные данные в удобный для понимания и обработки формат, пользователи могут более интуитивно использовать эти данные. Качество анализа данных напрямую влияет на эффективность и результативность применения данных Блокчейн, что является ключевым этапом всего процесса индексирования данных.
2.3 Эволюция индексаторов данных
С увеличением объема данных Блокчейн, потребность в индексаторах становится все более настоятельной. Индексаторы отвечают за организацию данных на цепи и их сохранение в базе данных для последующего запроса. Они индексируют данные Блокчейн и предоставляют аналогичный SQL языку запросов ( интерфейс GraphQL ), что делает данные доступными в любое время. Индексаторы предоставляют разработчикам унифицированный интерфейс для запросов, значительно упрощая процесс извлечения данных.
Разные типы индексаторов имеют свои преимущества:
Полный узел-индексатор: извлекает данные непосредственно из полного узла, гарантируя полную и точную информацию, но требует больших объемов хранения и вычислительных мощностей.
Легковесный индексатор: зависит от полных узлов для получения конкретных данных по запросу, уменьшает требования к хранению, но может увеличить время запроса.
Специальный индексатор: оптимизация для определенных типов данных или Блокчейн, таких как данные NFT или DeFi-транзакции.
Агрегатор индексов: извлекает данные из нескольких Блокчейн и источников, включая оффлайновую информацию, предоставляет единый интерфейс для запросов, подходит для многосетевых dApp.
В настоящее время требования к хранилищу архивных узлов Эфириума варьируются от 3 ТБ до 13,5 ТБ в зависимости от разных клиентов. Учитывая такой объем данных, основные протоколы индексирования поддерживают многосетевое индексирование и разработали рамки для анализа данных, адаптированные под различные потребности приложений, такие как "Субграф" The Graph (Subgraph).
Появление индексаторов значительно повысило эффективность индексирования и запроса данных. В отличие от традиционных RPC-эндпоинтов, индексаторы могут эффективно обрабатывать большие объемы данных, поддерживать сложные запросы и фильтрацию данных. Некоторые индексаторы также поддерживают агрегирование данных из нескольких Блокчейн-источников, что устраняет проблему необходимости развертывания нескольких API для многосетевых dApp. Благодаря распределенной работе, индексаторы не только обеспечивают большую безопасность и производительность, но и снижают риск сбоев, которые могут возникнуть из-за централизованных поставщиков RPC.
2.4 Полная база данных блокчейна: переход к приоритетному режиму потока
С ростом сложности требований приложений начальные индексаторы данных и их стандартизированные форматы индексов постепенно становятся недостаточными для удовлетворения разнообразных запросов, таких как кросс-цепочечный доступ или сопоставление данных вне цепи.
В современной архитектуре данных метод "приоритета потока" стал решением для ограничения традиционной пакетной обработки, обеспечивая обработку и анализ данных в реальном времени. Поставщики данных на основе Блокчейн также развиваются в направлении создания потоков данных, такие как Substreams от The Graph, Mirror от Goldsky, а также реальные озера данных, предлагаемые Chainbase и SubSquid.
Эти услуги направлены на решение потребностей в实时解析 и全面查询能力交易 Блокчейн. Переопределяя вызовы данных в цепочке с точки зрения современных конвейеров данных, мы можем рассмотреть потенциал управления, хранения и предоставления данных с новой перспективы. Рассматривая индексатор как поток данных, а не как конечный вывод, мы можем представить возможность создания высокопроизводительных наборов данных, адаптированных под любые бизнес-кейсы.
3. AI + База данных: углубленное сравнение The Graph, Chainbase и Space and Time
3.1 Граф
Сеть The Graph предоставляет услуги индексирования и запроса данных по многим цепочкам через децентрализованную сеть узлов. Его основные продукты включают рынок выполнения запросов данных и рынок кэширования индексов данных, обслуживающие потребности пользователей в запросах продуктов.
Субграфы ( являются основной структурой данных сети The Graph, определяющей, как извлекать и преобразовывать данные из Блокчейн в формат, доступный для запросов. Сеть состоит из четырех ключевых ролей: индексаторов, кураторов, делегатов и разработчиков, которые совместно предоставляют поддержку данных для приложений web3.
The Graph полностью перешел на децентрализованные услуги хостинга субграфов, участники обеспечивают функционирование системы через экономические стимулы. В последнее время основной командой разработчиков экосистемы The Graph, Semiotic Labs, были разработаны инструменты AutoAgora, Allocation Optimizer и AgentC с использованием технологий ИИ для оптимизации ценообразования индексации и пользовательского опыта запросов, что further повысило интеллектуальные возможности системы и удобство для пользователей.
![Чтение, индексация для анализа, краткий обзор сектора индексации данных Web3])https://img-cdn.gateio.im/webp-social/moments-cf9a002b9b094fbbe3be7f611001b5c1.webp(
) 3.2 Chainbase
Chainbase — это сеть данных на основе Блокчейн, объединяющая все данные Блокчейн на одной платформе. Его характерные функции включают:
Реальное время хранилище данных: предоставляет специализированное хранилище данных в реальном времени для потоков данных Блокчейн.
Двойная цепочная архитектура: основана на Eigenlayer AVS для построения слоя выполнения, в паре с алгоритмом консенсуса CometBFT формируя параллельную двойную цепочную архитектуру.
Инновационный стандарт формата данных: введение стандарта формата данных "manuscripts".
Модель криптомира: объединяя технологии AI-моделей, мы создаем AI-модель Theia, способную понимать и предсказывать блокчейн-транзакции.
AI-модель Theia от Chainbase основана на модели DORA от NVIDIA и сочетает в себе анализ данных на блокчейне и вне его, используя криптографические методы, а также делает выводы через причинно-следственное моделирование, предоставляя пользователям интеллектуальные услуги по обработке данных.
![Чтение, индексирование и анализ, краткий обзор сектора индексирования данных Web3]###https://img-cdn.gateio.im/webp-social/moments-b343cab5112c1a3d52f4e72122ae0df2.webp(
) 3.3 Пространство и Время
Space and Time ###SxT( нацелена на создание проверяемого вычислительного слоя, расширяющего нулевые доказательства в децентрализованных хранилищах данных. Ее ключевая технология Proof of SQL — это инновационная технология нулевых доказательств, которая обеспечивает защиту от подделки и проверяемость SQL-запросов, выполняемых в децентрализованных хранилищах данных.
SxT сотрудничает с инновационной лабораторией AI Microsoft для разработки инструментов генеративного AI, позволяющих пользователям обрабатывать данные Блокчейн с помощью обработки естественного языка. В Space and Time Studio пользователи могут попробовать ввести запросы на естественном языке, а AI автоматически преобразует их в SQL и выполняет запрос.
![Чтение, индексирование и анализ, краткий обзор сектора индексации данных Web3])https://img-cdn.gateio.im/webp-social/moments-97443cbd177ac4ffd1665da670ffbf12.webp(
Заключение и перспективы
Технология индексирования данных Блокчейн прошла путь от первоначальных источников данных Узел, через развитие анализа данных и индексаторов, и в конечном итоге эволюционировала в облачные услуги данных с возможностями ИИ, пройдя процесс постепенного совершенствования. Эта постоянная эволюция технологий не только повысила эффективность и точность доступа к данным, но и предоставила пользователям беспрецедентный уровень интеллектуального опыта.
Смотря в будущее, с постоянным развитием новых технологий, таких как технологии ИИ и нулевого знания, услуги блокчейн-данных станут еще более интеллектуальными и безопасными. В качестве инфраструктуры услуги блокчейн-данных продолжат играть важную роль в прогрессе и инновациях в отрасли.
![Чтение, индексирование для анализа, краткое описание сектора индексации данных Web3])https://img-cdn.gateio.im/webp-social/moments-0742180b7da8a9dcddafc465a4dba9cb.webp(
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
11 Лайков
Награда
11
6
Репост
Поделиться
комментарий
0/400
BtcDailyResearcher
· 13ч назад
Даже если данные всей цепочки удивительные, они все равно не могут сравниться с тем, как растет токен.
Посмотреть ОригиналОтветить0
ZKSherlock
· 13ч назад
на самом деле... последствия конфиденциальности индексирования блокчейна с использованием ИИ серьезно недооценены здесь. где архитектура zkp?
Посмотреть ОригиналОтветить0
gas_guzzler
· 13ч назад
Слушать сложно, Узел не работает.
Посмотреть ОригиналОтветить0
DarkPoolWatcher
· 13ч назад
Отсутствие центра не имеет смысла
Посмотреть ОригиналОтветить0
FlashLoanKing
· 14ч назад
Ещё одна статья, раздувающая искусственный интеллект.
Посмотреть ОригиналОтветить0
DefiEngineerJack
· 14ч назад
*вздох* ещё одно наивное мнение о индексировании данных... покажите мне реальные бенчмарки, сэр
История эволюции индексирования данных Блокчейн: от Узла до ИИ-обеспеченной базы данных всей цепи
Эволюция индексации данных блокчейна: от узла до AI базы данных всей цепи
1. Введение
С момента появления первых децентрализованных приложений (dApp) в 2017 году экосистема Блокчейн активно развивалась, и появилось множество финансовых, игровых и социальных dApp на основе различных Блоков. Однако, различные источники данных, на которые полагаются эти приложения в процессе взаимодействия, заслуживают нашего глубокого размышления.
В 2024 году искусственный интеллект и Web3 станут горячими темами. В области ИИ данные подобны источнику жизни, движущему обучением и эволюцией систем. Без поддержки огромного объема данных даже самые сложные алгоритмы ИИ не смогут раскрыть свой потенциал.
В данной статье будет проведен глубокий анализ эволюции индексации данных в процессе развития отрасли с точки зрения доступности данных в Блокчейн. Мы также сравним традиционный протокол индексирования данных The Graph с новыми протоколами блокчейн-сервисов Chainbase и Space and Time, обсудим сходства и различия этих новых протоколов, сочетающих технологии ИИ, в области услуг данных и архитектуры продуктов.
2. Эволюция индексирования данных: от узлов Блокчейн до полной базы данных
2.1 Источник данных: Узел Блокчейн
Блокчейн называется децентрализованной бухгалтерской книгой, а узел является основой этой сети. Каждый узел хранит полную копию данных Блокчейн, обеспечивая децентрализованные характеристики сети. Однако для обычных пользователей создание и обслуживание узлов не только требует высоких технических навыков, но и влечет за собой значительные затраты на оборудование и пропускную способность.
Чтобы решить эту проблему, появились поставщики RPC-узлов. Они отвечают за эксплуатацию узлов и предоставляют пользователям доступ к данным через RPC-эндпоинты. Хотя общие RPC-эндпоинты бесплатны, они имеют ограничения по скорости, что может повлиять на пользовательский опыт dApp. Частные RPC-эндпоинты, хотя и имеют лучшую производительность, все же неэффективны для сложных запросов и трудно масштабируются по сети. Тем не менее, стандартизированный API-интерфейс поставщиков узлов снижает барьеры для пользователей при доступе к данным на блокчейне, что закладывает основу для последующей обработки данных и применения.
2.2 Анализ данных: от сырых данных до полезных данных
Данные, предоставляемые узлами Блокчейна, обычно подвергаются шифрованию и кодированию, что, хотя и обеспечивает целостность и безопасность данных, также увеличивает сложность их обработки. Для обычных пользователей и разработчиков прямая работа с этими данными требует значительных профессиональных знаний и вычислительных ресурсов.
Таким образом, процесс анализа данных становится особенно важным. Преобразуя сложные исходные данные в удобный для понимания и обработки формат, пользователи могут более интуитивно использовать эти данные. Качество анализа данных напрямую влияет на эффективность и результативность применения данных Блокчейн, что является ключевым этапом всего процесса индексирования данных.
2.3 Эволюция индексаторов данных
С увеличением объема данных Блокчейн, потребность в индексаторах становится все более настоятельной. Индексаторы отвечают за организацию данных на цепи и их сохранение в базе данных для последующего запроса. Они индексируют данные Блокчейн и предоставляют аналогичный SQL языку запросов ( интерфейс GraphQL ), что делает данные доступными в любое время. Индексаторы предоставляют разработчикам унифицированный интерфейс для запросов, значительно упрощая процесс извлечения данных.
Разные типы индексаторов имеют свои преимущества:
В настоящее время требования к хранилищу архивных узлов Эфириума варьируются от 3 ТБ до 13,5 ТБ в зависимости от разных клиентов. Учитывая такой объем данных, основные протоколы индексирования поддерживают многосетевое индексирование и разработали рамки для анализа данных, адаптированные под различные потребности приложений, такие как "Субграф" The Graph (Subgraph).
Появление индексаторов значительно повысило эффективность индексирования и запроса данных. В отличие от традиционных RPC-эндпоинтов, индексаторы могут эффективно обрабатывать большие объемы данных, поддерживать сложные запросы и фильтрацию данных. Некоторые индексаторы также поддерживают агрегирование данных из нескольких Блокчейн-источников, что устраняет проблему необходимости развертывания нескольких API для многосетевых dApp. Благодаря распределенной работе, индексаторы не только обеспечивают большую безопасность и производительность, но и снижают риск сбоев, которые могут возникнуть из-за централизованных поставщиков RPC.
2.4 Полная база данных блокчейна: переход к приоритетному режиму потока
С ростом сложности требований приложений начальные индексаторы данных и их стандартизированные форматы индексов постепенно становятся недостаточными для удовлетворения разнообразных запросов, таких как кросс-цепочечный доступ или сопоставление данных вне цепи.
В современной архитектуре данных метод "приоритета потока" стал решением для ограничения традиционной пакетной обработки, обеспечивая обработку и анализ данных в реальном времени. Поставщики данных на основе Блокчейн также развиваются в направлении создания потоков данных, такие как Substreams от The Graph, Mirror от Goldsky, а также реальные озера данных, предлагаемые Chainbase и SubSquid.
Эти услуги направлены на решение потребностей в实时解析 и全面查询能力交易 Блокчейн. Переопределяя вызовы данных в цепочке с точки зрения современных конвейеров данных, мы можем рассмотреть потенциал управления, хранения и предоставления данных с новой перспективы. Рассматривая индексатор как поток данных, а не как конечный вывод, мы можем представить возможность создания высокопроизводительных наборов данных, адаптированных под любые бизнес-кейсы.
3. AI + База данных: углубленное сравнение The Graph, Chainbase и Space and Time
3.1 Граф
Сеть The Graph предоставляет услуги индексирования и запроса данных по многим цепочкам через децентрализованную сеть узлов. Его основные продукты включают рынок выполнения запросов данных и рынок кэширования индексов данных, обслуживающие потребности пользователей в запросах продуктов.
Субграфы ( являются основной структурой данных сети The Graph, определяющей, как извлекать и преобразовывать данные из Блокчейн в формат, доступный для запросов. Сеть состоит из четырех ключевых ролей: индексаторов, кураторов, делегатов и разработчиков, которые совместно предоставляют поддержку данных для приложений web3.
The Graph полностью перешел на децентрализованные услуги хостинга субграфов, участники обеспечивают функционирование системы через экономические стимулы. В последнее время основной командой разработчиков экосистемы The Graph, Semiotic Labs, были разработаны инструменты AutoAgora, Allocation Optimizer и AgentC с использованием технологий ИИ для оптимизации ценообразования индексации и пользовательского опыта запросов, что further повысило интеллектуальные возможности системы и удобство для пользователей.
![Чтение, индексация для анализа, краткий обзор сектора индексации данных Web3])https://img-cdn.gateio.im/webp-social/moments-cf9a002b9b094fbbe3be7f611001b5c1.webp(
) 3.2 Chainbase
Chainbase — это сеть данных на основе Блокчейн, объединяющая все данные Блокчейн на одной платформе. Его характерные функции включают:
AI-модель Theia от Chainbase основана на модели DORA от NVIDIA и сочетает в себе анализ данных на блокчейне и вне его, используя криптографические методы, а также делает выводы через причинно-следственное моделирование, предоставляя пользователям интеллектуальные услуги по обработке данных.
![Чтение, индексирование и анализ, краткий обзор сектора индексирования данных Web3]###https://img-cdn.gateio.im/webp-social/moments-b343cab5112c1a3d52f4e72122ae0df2.webp(
) 3.3 Пространство и Время
Space and Time ###SxT( нацелена на создание проверяемого вычислительного слоя, расширяющего нулевые доказательства в децентрализованных хранилищах данных. Ее ключевая технология Proof of SQL — это инновационная технология нулевых доказательств, которая обеспечивает защиту от подделки и проверяемость SQL-запросов, выполняемых в децентрализованных хранилищах данных.
SxT сотрудничает с инновационной лабораторией AI Microsoft для разработки инструментов генеративного AI, позволяющих пользователям обрабатывать данные Блокчейн с помощью обработки естественного языка. В Space and Time Studio пользователи могут попробовать ввести запросы на естественном языке, а AI автоматически преобразует их в SQL и выполняет запрос.
![Чтение, индексирование и анализ, краткий обзор сектора индексации данных Web3])https://img-cdn.gateio.im/webp-social/moments-97443cbd177ac4ffd1665da670ffbf12.webp(
Заключение и перспективы
Технология индексирования данных Блокчейн прошла путь от первоначальных источников данных Узел, через развитие анализа данных и индексаторов, и в конечном итоге эволюционировала в облачные услуги данных с возможностями ИИ, пройдя процесс постепенного совершенствования. Эта постоянная эволюция технологий не только повысила эффективность и точность доступа к данным, но и предоставила пользователям беспрецедентный уровень интеллектуального опыта.
Смотря в будущее, с постоянным развитием новых технологий, таких как технологии ИИ и нулевого знания, услуги блокчейн-данных станут еще более интеллектуальными и безопасными. В качестве инфраструктуры услуги блокчейн-данных продолжат играть важную роль в прогрессе и инновациях в отрасли.
![Чтение, индексирование для анализа, краткое описание сектора индексации данных Web3])https://img-cdn.gateio.im/webp-social/moments-0742180b7da8a9dcddafc465a4dba9cb.webp(