一款利用 LLM 将任意网站转化为结构化聚合 API 的开源工具。这款工具能够自动帮助用户定义所需的数据结构（如股票市值、交易价格、交易量等），然后从指定的数据源（如雅虎财经）自动抓取这些信息。系统使用 OpenAI 的结构化输出功能来验证数据结构，通过Firecrawl 的 extract 端点进行网页解析，并将结果存储在 Upstash 中。

整个过程非常直观，用户只需定义所需数据的结构、选择数据的来源网站，系统就会自动生成对应的 API 端点。这个 API 可以部署到 AWS Lambda、Cloudflare Worker 或任何支持Node.js 的服务器上。更棒的是，它还支持定时任务，能够按指定频率自动更新数据。

通过这款工具，你无需通过复杂的数据分析和编程就能抓取任意网站上的数据，并保持实时更新。

  • Firecrawl：一款网页爬取工具，能够根据指定的数据结构智能提取网页内容。
  • Serper：搜索 API 服务，能够通过自动搜索获取内容。
  • Upstash：Serverless 数据库服务，提供 Redis 和 Kafka 功能，能够存储和管理 API 响应数据。

源码下载地址：https://github.com/developersdigest/llm-api-engine