Lịch sử tiến hóa chỉ mục dữ liệu Blockchain: từ Nút đến cơ sở dữ liệu toàn chuỗi được AI hỗ trợ

Sự tiến hóa của chỉ mục dữ liệu Blockchain: từ Nút đến cơ sở dữ liệu AI toàn chuỗi

1. Giới thiệu

Kể từ khi các ứng dụng phi tập trung đầu tiên (dApp) ra mắt vào năm 2017, hệ sinh thái Blockchain đã phát triển mạnh mẽ, xuất hiện nhiều dApp tài chính, trò chơi và xã hội dựa trên các Blockchain khác nhau. Tuy nhiên, các nguồn dữ liệu khác nhau mà những ứng dụng này phụ thuộc vào trong quá trình tương tác xứng đáng để chúng ta suy nghĩ sâu sắc.

Năm 2024, trí tuệ nhân tạo và Web3 trở thành chủ đề nóng. Trong lĩnh vực AI, dữ liệu giống như nguồn sống, thúc đẩy sự học hỏi và tiến hóa của hệ thống. Không có sự hỗ trợ của dữ liệu khổng lồ, ngay cả những thuật toán AI tinh vi nhất cũng khó có thể phát huy tiềm năng của chúng.

Bài viết này sẽ phân tích sâu về quá trình phát triển của chỉ mục dữ liệu trong ngành từ góc độ khả năng tiếp cận dữ liệu Blockchain. Chúng tôi cũng sẽ so sánh giao thức chỉ mục dữ liệu truyền thống The Graph với các giao thức dịch vụ dữ liệu Blockchain mới nổi Chainbase và Space and Time, thảo luận về sự khác biệt và tương đồng của các giao thức mới kết hợp công nghệ AI này trong dịch vụ dữ liệu và kiến trúc sản phẩm.

2. Sự tiến hóa của chỉ mục dữ liệu: từ Nút blockchain đến cơ sở dữ liệu toàn chuỗi

2.1 Nguồn dữ liệu: Nút Blockchain

Blockchain được gọi là sổ cái phi tập trung, và nút chính là nền tảng của mạng này. Mỗi nút đều lưu giữ một bản sao đầy đủ dữ liệu của blockchain, đảm bảo tính phi tập trung của mạng. Tuy nhiên, đối với người dùng thông thường, việc tự xây dựng và duy trì nút không chỉ có ngưỡng kỹ thuật cao mà còn cần phải gánh chịu chi phí phần cứng và băng thông đắt đỏ.

Để giải quyết vấn đề này, nhà cung cấp Nút RPC đã ra đời. Họ chịu trách nhiệm về vận hành và bảo trì Nút, cung cấp dịch vụ truy cập dữ liệu cho người dùng thông qua các điểm cuối RPC. Mặc dù các điểm cuối RPC công cộng miễn phí, nhưng có giới hạn tốc độ, có thể ảnh hưởng đến trải nghiệm người dùng của dApp. Các điểm cuối RPC riêng tư mặc dù có hiệu suất tốt hơn, nhưng hiệu quả của các truy vấn phức tạp vẫn không cao và khó mở rộng qua các mạng khác nhau. Tuy nhiên, giao diện API tiêu chuẩn hóa của các nhà cung cấp Nút vẫn giúp giảm rào cản cho người dùng trong việc truy cập dữ liệu trên chuỗi, tạo nền tảng cho việc phân tích dữ liệu và áp dụng sau này.

Đọc, chỉ mục đến phân tích, tóm tắt đường đua chỉ mục dữ liệu Web3

2.2 Phân tích dữ liệu: Từ dữ liệu thô đến dữ liệu có thể sử dụng

Dữ liệu gốc do nút Blockchain cung cấp thường được mã hóa và xử lý, mặc dù điều này đảm bảo tính toàn vẹn và an toàn của dữ liệu, nhưng cũng làm tăng độ khó trong việc phân tích. Đối với người dùng thông thường và các nhà phát triển, việc xử lý trực tiếp những dữ liệu này cần rất nhiều kiến thức chuyên môn và tài nguyên tính toán.

Do đó, quá trình phân tích dữ liệu trở nên đặc biệt quan trọng. Bằng cách chuyển đổi dữ liệu thô phức tạp thành định dạng dễ hiểu và thao tác, người dùng có thể sử dụng dữ liệu này một cách trực quan hơn. Chất lượng phân tích dữ liệu ảnh hưởng trực tiếp đến hiệu quả và hiệu suất ứng dụng dữ liệu Blockchain, là khâu then chốt trong toàn bộ quy trình lập chỉ mục dữ liệu.

2.3 Sự tiến hóa của bộ chỉ mục dữ liệu

Với khối lượng dữ liệu blockchain tăng vọt, nhu cầu về bộ chỉ mục ngày càng cấp bách. Bộ chỉ mục có trách nhiệm tổ chức dữ liệu trên chuỗi và lưu trữ chúng vào cơ sở dữ liệu để truy vấn. Chúng thông qua việc chỉ mục dữ liệu blockchain và cung cấp ngôn ngữ truy vấn giống như SQL ( như giao diện GraphQL ), giúp dữ liệu luôn sẵn sàng. Bộ chỉ mục cung cấp cho các nhà phát triển một giao diện truy vấn thống nhất, đơn giản hóa đáng kể quy trình truy xuất dữ liệu.

Các loại bộ chỉ mục khác nhau có những lợi thế riêng:

  1. Bộ chỉ mục nút hoàn chỉnh: Trích xuất dữ liệu trực tiếp từ nút hoàn chỉnh, đảm bảo dữ liệu đầy đủ và chính xác, nhưng cần nhiều dung lượng lưu trữ và khả năng xử lý.
  2. Trình lập chỉ mục nhẹ: phụ thuộc vào các nút hoàn chỉnh để lấy dữ liệu cụ thể theo yêu cầu, giảm nhu cầu lưu trữ nhưng có thể làm tăng thời gian truy vấn.
  3. Bộ chỉ mục chuyên dụng: Tối ưu hóa cho các loại dữ liệu hoặc Blockchain cụ thể, chẳng hạn như dữ liệu NFT hoặc giao dịch DeFi.
  4. Bộ chỉ mục tổng hợp: Trích xuất dữ liệu từ nhiều Blockchain và nguồn, bao gồm thông tin ngoại tuyến, cung cấp giao diện truy vấn thống nhất, phù hợp với dApp đa chuỗi.

Hiện tại, nhu cầu lưu trữ của nút hồ sơ Ethereum trên các khách hàng khác nhau dao động từ 3TB đến 13,5TB. Đối mặt với một lượng dữ liệu khổng lồ như vậy, các giao thức lập chỉ mục chính không chỉ hỗ trợ lập chỉ mục nhiều chuỗi mà còn tùy chỉnh khung phân tích dữ liệu cho các nhu cầu ứng dụng khác nhau, chẳng hạn như khung "Subgraph" của The Graph (Subgraph).

Sự xuất hiện của bộ chỉ mục đã nâng cao đáng kể hiệu quả chỉ mục và truy vấn dữ liệu. So với các điểm cuối RPC truyền thống, bộ chỉ mục có thể xử lý hiệu quả một lượng lớn dữ liệu, hỗ trợ truy vấn phức tạp và lọc dữ liệu. Một số bộ chỉ mục còn hỗ trợ tổng hợp nhiều nguồn dữ liệu từ các khối chuỗi, giúp tránh vấn đề ứng dụng đa chuỗi cần triển khai nhiều API. Thông qua việc vận hành phân tán, bộ chỉ mục không chỉ cung cấp tính bảo mật và hiệu suất mạnh mẽ hơn, mà còn giảm thiểu rủi ro gián đoạn có thể xảy ra từ các nhà cung cấp RPC tập trung.

Đọc, chỉ mục đến phân tích, tóm tắt lĩnh vực chỉ mục dữ liệu Web3

2.4 Cơ sở dữ liệu toàn chuỗi: Chuyển đổi sang chế độ ưu tiên dòng

Với nhu cầu ứng dụng ngày càng phức tạp, các bộ lập chỉ mục dữ liệu sơ cấp và định dạng chỉ mục tiêu chuẩn của chúng dần trở nên khó đáp ứng các nhu cầu truy vấn đa dạng, chẳng hạn như truy cập chuỗi chéo hoặc ánh xạ dữ liệu bên ngoài.

Trong kiến trúc đường ống dữ liệu hiện đại, phương pháp "ưu tiên dòng chảy" đã trở thành giải pháp để khắc phục những hạn chế của xử lý theo lô truyền thống, nhằm thực hiện xử lý và phân tích dữ liệu theo thời gian thực. Các nhà cung cấp dịch vụ dữ liệu Blockchain cũng đang phát triển theo hướng xây dựng dòng dữ liệu, như Substreams của The Graph, Mirror của Goldsky, cũng như hồ dữ liệu thời gian thực do Chainbase và SubSquid cung cấp.

Các dịch vụ này nhằm mục đích giải quyết nhu cầu phân tích và truy vấn toàn diện giao dịch Blockchain theo thời gian thực. Bằng cách định nghĩa lại thách thức dữ liệu trên chuỗi từ góc độ của các kênh dữ liệu hiện đại, chúng ta có thể nhìn nhận tiềm năng quản lý, lưu trữ và cung cấp dữ liệu từ một góc độ hoàn toàn mới. Bằng cách coi bộ lập chỉ mục là luồng dữ liệu chứ không phải là đầu ra cuối cùng, chúng ta có thể tưởng tượng ra khả năng tùy chỉnh các tập dữ liệu hiệu suất cao cho bất kỳ trường hợp kinh doanh nào.

3. AI + Cơ sở dữ liệu: So sánh sâu về The Graph, Chainbase và Space and Time

3.1 The Graph

Mạng The Graph cung cấp dịch vụ lập chỉ mục và truy vấn dữ liệu đa chuỗi thông qua mạng lưới nút phi tập trung. Sản phẩm cốt lõi của nó bao gồm thị trường thực thi truy vấn dữ liệu và thị trường bộ nhớ đệm lập chỉ mục dữ liệu, phục vụ nhu cầu truy vấn sản phẩm của người dùng.

Biểu đồ con (Subgraphs) là cấu trúc dữ liệu cơ bản của mạng The Graph, định nghĩa cách lấy và chuyển đổi dữ liệu từ Blockchain thành định dạng có thể truy vấn. Mạng bao gồm bốn vai trò chính: chỉ mục, người tổ chức, người ủy thác và nhà phát triển, cùng nhau cung cấp hỗ trợ dữ liệu cho các ứng dụng web3.

The Graph đã hoàn toàn chuyển sang dịch vụ lưu trữ con đồ thị phi tập trung, các bên tham gia đảm bảo hệ thống hoạt động thông qua các động lực kinh tế. Gần đây, đội ngũ phát triển cốt lõi của hệ sinh thái The Graph, Semiotic Labs, đã sử dụng công nghệ AI để tối ưu hóa giá chỉ mục và trải nghiệm truy vấn của người dùng, phát triển các công cụ như AutoAgora, Allocation Optimizer và AgentC, nhằm nâng cao tính thông minh của hệ thống và sự thân thiện với người dùng.

Đọc, chỉ mục đến phân tích, tóm tắt lĩnh vực chỉ mục dữ liệu Web3

3.2 Chainbase

Chainbase là một mạng dữ liệu toàn chuỗi, tích hợp tất cả dữ liệu blockchain vào một nền tảng. Các tính năng đặc biệt của nó bao gồm:

  • Hồ dữ liệu thời gian thực: Cung cấp hồ dữ liệu thời gian thực chuyên dụng cho dòng dữ liệu blockchain.
  • Kiến trúc song chuỗi: Dựa trên Eigenlayer AVS xây dựng lớp thực thi, kết hợp với thuật toán đồng thuận CometBFT tạo thành kiến trúc song chuỗi song song.
  • Tiêu chuẩn định dạng dữ liệu đổi mới: Giới thiệu tiêu chuẩn định dạng dữ liệu "manuscripts".
  • Mô hình thế giới mã hóa: kết hợp công nghệ mô hình AI, tạo ra mô hình AI Theia có khả năng hiểu và dự đoán giao dịch Blockchain.

Mô hình AI Theia của Chainbase dựa trên mô hình DORA của NVIDIA, kết hợp phân tích dữ liệu trên chuỗi và ngoài chuỗi theo chế độ mã hóa, thông qua suy diễn nguyên nhân để đưa ra phản hồi, cung cấp dịch vụ dữ liệu thông minh cho người dùng.

Đọc, chỉ mục đến phân tích, tóm tắt lĩnh vực chỉ mục dữ liệu Web3

3.3 Không gian và Thời gian

Space and Time (SxT) cam kết xây dựng một lớp tính toán có thể xác minh, mở rộng chứng minh không kiến thức trên kho dữ liệu phi tập trung. Công nghệ cốt lõi Proof of SQL là một công nghệ chứng minh không kiến thức đổi mới, đảm bảo rằng các truy vấn SQL được thực hiện trên kho dữ liệu phi tập trung là không thể bị thay đổi và có thể xác minh.

SxT hợp tác với phòng thí nghiệm đổi mới AI của Microsoft để phát triển công cụ AI sinh, giúp người dùng có thể xử lý dữ liệu blockchain bằng ngôn ngữ tự nhiên. Tại Studio Space and Time, người dùng có thể trải nghiệm việc nhập truy vấn bằng ngôn ngữ tự nhiên, AI tự động chuyển đổi thành SQL và thực hiện truy vấn.

Đọc, lập chỉ mục đến phân tích, tóm tắt lĩnh vực lập chỉ mục dữ liệu Web3

Kết luận và triển vọng

Công nghệ chỉ mục dữ liệu Blockchain đã trải qua một quá trình hoàn thiện dần dần, từ nguồn dữ liệu nút ban đầu, qua sự phát triển của phân tích dữ liệu và bộ chỉ mục, cuối cùng tiến hóa thành dịch vụ dữ liệu toàn chuỗi được AI hỗ trợ. Sự tiến bộ không ngừng của những công nghệ này không chỉ nâng cao hiệu quả và độ chính xác của việc truy cập dữ liệu, mà còn mang lại cho người dùng trải nghiệm thông minh chưa từng có.

Nhìn về tương lai, với sự phát triển không ngừng của các công nghệ mới như AI và chứng minh không kiến thức, dịch vụ dữ liệu Blockchain sẽ ngày càng thông minh và an toàn hơn. Là cơ sở hạ tầng, dịch vụ dữ liệu Blockchain sẽ tiếp tục đóng vai trò quan trọng trong sự tiến bộ và đổi mới của ngành.

Đọc, chỉ mục đến phân tích, tóm tắt lĩnh vực chỉ mục dữ liệu Web3

Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • 6
  • Đăng lại
  • Chia sẻ
Bình luận
0/400
BtcDailyResearchervip
· 15giờ trước
Toàn bộ dữ liệu chuỗi cũng tuyệt vời, nhưng không thể so với coin giá tăng lên tuyệt vời.
Xem bản gốcTrả lời0
ZKSherlockvip
· 15giờ trước
trên thực tế... các tác động đến quyền riêng tư của việc lập chỉ mục blockchain sử dụng AI chưa được xem xét đầy đủ ở đây. kiến trúc zkp ở đâu?
Xem bản gốcTrả lời0
gas_guzzlervip
· 15giờ trước
Nghe đã thấy mệt Nút chơi không nổi
Xem bản gốcTrả lời0
DarkPoolWatchervip
· 15giờ trước
Đi trung tâm không có ý nghĩa
Xem bản gốcTrả lời0
FlashLoanKingvip
· 15giờ trước
Một bài viết lại thổi phồng AI.
Xem bản gốcTrả lời0
DefiEngineerJackvip
· 15giờ trước
*thở dài* lại một cách nhìn ngây thơ nữa về việc lập chỉ mục dữ liệu... hiển thị cho tôi các chỉ số thực tế ser
Xem bản gốcTrả lời0
  • Ghim
Giao dịch tiền điện tử mọi lúc mọi nơi
qrCode
Quét để tải xuống ứng dụng Gate
Cộng đồng
Tiếng Việt
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)