ethereum-etl
id:blockchain-etl/ethereum-etl ·
· 目录记录
项目概述
Ethereum ETL把Ethereum节点中的区块、交易、token转移与调用trace等数据抽取成CSV或适合数据库分析的记录,还可持续流式输出事件,解决原始链数据不便做SQL/统计的问题。它不自动解释地址身份或交易获利意图。
原项目介绍
忠实中文 / 作者自述整理
作者定位为把blockchain data转换为CSV及关系数据库友好格式的工具,并为只想查询者链接公共BigQuery数据集。
短摘 / 原文
Ethereum ETL lets you convert blockchain data into convenient formats like CSVs and relational databases.
出处:https://github.com/blockchain-etl/ethereum-etl/blob/HEAD/README.md
translation_kind:实际选读作者README定位段的忠实中文要点;非全文翻译
excerpt_kind:readme_literal
source_kind:official_repository_readme_via_sanctioned_github_tool
is_self_report:True
excerpt_truncated:False
当前具体详情
做什么
Ethereum ETL把Ethereum节点中的区块、交易、token转移与调用trace等数据抽取成CSV或适合数据库分析的记录,还可持续流式输出事件,解决原始链数据不便做SQL/统计的问题。它不自动解释地址身份或交易获利意图。
谁会用
构建链上数据仓库、研究链活动、数据工程/分析的人员。
用户画像依据
按已读作者定位与功能归纳;非客户规模或效果调查
解决的问题(编辑归纳)
原始链RPC数据不便直接进入CSV/SQL及持续分析管道。
文档化使用场景(编辑归纳)
按区块范围导出对象,或流式写事件到console/PubSub,再据schema分析。
主要能力与用途
按起止区块导出blocks和transactions为不同CSV,也列ERC20/ERC721 transfers及traces独立命令。
stream可持续输出block、transaction、log、token_transfer到console或Pub/Sub;安装streaming额外依赖。
数据来源是HTTP节点provider或本地IPC;哪些节点支持trace、保留何种历史仍要核目标provider。
提供schema/命令参考及BigQuery、Athena、Postgres、Airflow等配套入口;本次没有把这些外部项目当本仓全部实现。
如何使用 / 既有稿流程
选择数据对象与区块范围→配置有权限的节点provider→批量写CSV或持续流事件→按schema进入SQL/分析系统。这里只阅读流程,不使用README中的示例API标识、不访问节点、下载链或授权云服务。
用法证据状态
documented_workflow_only_not_executed
公开限制
节点历史/trace能力、请求限流、数据缺失与云查询费用需单独核对,不保证所有provider输出相同。
流式持续写出需要监控与权限管理;README没有在本次证明完整断点/重组恢复机制。
Rust重写“约1.4倍”是作者说明,未基准测试;Nansen/Google使用者清单未独立验证客户关系。
未核实 / 来源缺口
仅所列README范围;未读实现、安装、运行、登录、测试、交易或连接钱包;不把作者宣传当安全/收益验证。
许可讨论
spdx_snapshot
MIT
discussion_zh
根README仅给许可徽章/链接,完整LICENSE、云数据集再利用与provider条款未读。
strict_open_source_verified
False
full_license_text_read
False
完成评估
status
specific_details_complete
count_as_completed
True
reason_zh
已逐项阅读所列README/官方文档,复核具体功能、用户、问题、场景/流程、依赖及边界;仅文档级具体描述,不是运行/源码核验。
completion_scope_zh
文档级具体描述;非源码/运行、安全、收益或许可全文核验
standard_id
pt780u-concrete-v1
problem_solved_zh
原始链RPC数据不便直接进入CSV/SQL及持续分析管道。
documented_use_case_zh
按区块范围导出对象,或流式写事件到console/PubSub,再据schema分析。
assistant_itemwise_content_reviewed
True
human_reviewed
False
assessed_cst
2026-11-17T08:46:13.117458+08:00
来源
https://github.com/blockchain-etl/ethereum-etl/blob/HEAD/README.md
local_path 未打进数据包,不生成链接:research/sources/blockchain-etl/ethereum-etl/README.md.phase032-tool.txt
{ "kind": "official_repository_readme_via_sanctioned_github_tool", "saved_cst": "2026-11-17T08:46:07.224220+08:00", "sha256": "91d5f254ca81833bede81bfca1fd7797a68909ca228358f229d86696d0534989", "read_scope": "README全文132行;仅读导出/流式数据、provider/容器和数据集入口,不执行网络调用", "capture_kind": "raw_text_tool_result_wrapper", "immutable_commit_verified": false, "readme_read": true, "source_code_read": false }https://github.com/blockchain-etl/ethereum-etl
{ "kind": "repository_author_metadata_description_and_topics", "snapshot_cst": "2026-11-16T23:03:16+08:00", "description": "Python scripts for ETL (extract, transform and load) jobs for Ethereum blocks, transactions, ERC20 / ERC721 tokens, transfers, receipts, logs, contracts, internal transactions. Data is available in Google BigQuery https://goo.gl/oY5BCQ", "topics": [ "aws", "bigquery", "blockchain-analytics", "csv", "erc20", "erc20-tokens", "erc721", "ethereum", "etl", "export", "gcp", "google-cloud", "sql", "transaction" ], "record_sha256": "4fdff8cd45df6861096fb7c2178194292c9594bdb1198f36750ba69127e185d6", "read_scope": "逐项重读作者description前900字符(更长者明确截断)、topics前12项及星数/时间/许可快照;旧文档限制沿用须标非新增核验", "readme_read": false }
研究层级与范围
{
"tier": "B1_readme_light_intro",
"status": "readme_based_brief_available_not_code_or_full_documentary_audit",
"new_source_read_this_phase": true,
"readme_read": true,
"read_scope": "README全文132行;仅读导出/流式数据、provider/容器和数据集入口,不执行网络调用",
"source_code_read": false,
"human_reviewed": false,
"human_tested": false,
"not_full_documentary_study": true,
"previous_metadata_profile_generation": "working_copy_after_phase010-b010-20261117T084141+0800",
"previous_metadata_profile_sha256": "ec35f4eb7ebc448d0e2a43046193b3a807ca0fefa76749fc5d842b8052d6f7a7"
}