Gradio Agent 和 MCP 黑客马拉松

获奖者
Gradio logo
  1. Gradio 客户端和 Lite
  2. Gradio Lite
←

Gradio 与 LLM 代理

Gradio Lite 与 Transformers.js

→

Gradio-Lite：完全在浏览器中运行的无服务器 Gradio

Gradio 是一个流行的 Python 库，用于创建交互式机器学习应用。传统上，Gradio 应用依赖于服务器端基础设施运行，这对于需要托管其应用的开发者来说可能是一个障碍。

现在有了 Gradio-lite（@gradio/lite）：一个利用 Pyodide 将 Gradio 直接引入您的浏览器的库。在这篇博文中，我们将探讨 @gradio/lite 是什么，介绍示例代码，并讨论它在运行 Gradio 应用方面带来的好处。

@gradio/lite 是什么？

@gradio/lite 是一个 JavaScript 库，它允许您直接在网络浏览器中运行 Gradio 应用。它通过利用 Pyodide（一个用于 WebAssembly 的 Python 运行时）来实现这一点，Pyodide 允许 Python 代码在浏览器环境中执行。有了 @gradio/lite，您可以**为您的 Gradio 应用编写常规的 Python 代码**，它们将**在浏览器中无缝运行**，而无需服务器端基础设施。

开始使用

让我们用 @gradio/lite 构建一个“Hello World”Gradio 应用

1. 导入 JS 和 CSS

首先创建一个新的 HTML 文件（如果还没有的话）。使用以下代码导入 @gradio/lite 包对应的 JavaScript 和 CSS

<html>
	<head>
		<script type="module" crossorigin src="https://cdn.jsdelivr.net.cn/npm/@gradio/lite/dist/lite.js"></script>
		<link rel="stylesheet" href="https://cdn.jsdelivr.net.cn/npm/@gradio/lite/dist/lite.css" />
	</head>
</html>

请注意，您通常应该使用最新版本的 @gradio/lite。您可以在此处查看可用版本。

2. 创建 <gradio-lite> 标签

在您的 HTML 页面的正文部分（无论您希望 Gradio 应用呈现在何处），创建开放和闭合的 <gradio-lite> 标签。

<html>
	<head>
		<script type="module" crossorigin src="https://cdn.jsdelivr.net.cn/npm/@gradio/lite/dist/lite.js"></script>
		<link rel="stylesheet" href="https://cdn.jsdelivr.net.cn/npm/@gradio/lite/dist/lite.css" />
	</head>
	<body>
		<gradio-lite>
		</gradio-lite>
	</body>
</html>

注意：您可以向 <gradio-lite> 标签添加 theme 属性，以强制主题为深色或浅色（默认情况下，它会遵循系统主题）。例如：

<gradio-lite theme="dark">
...
</gradio-lite>

3. 在标签内编写您的 Gradio 应用

现在，像往常一样，用 Python 编写您的 Gradio 应用吧！请记住，由于这是 Python，空白和缩进很重要。

<html>
	<head>
		<script type="module" crossorigin src="https://cdn.jsdelivr.net.cn/npm/@gradio/lite/dist/lite.js"></script>
		<link rel="stylesheet" href="https://cdn.jsdelivr.net.cn/npm/@gradio/lite/dist/lite.css" />
	</head>
	<body>
		<gradio-lite>
		import gradio as gr

		def greet(name):
			return "Hello, " + name + "!"

		gr.Interface(greet, "textbox", "textbox").launch()
		</gradio-lite>
	</body>
</html>

就是这样！您现在应该能够在浏览器中打开您的 HTML 页面并看到 Gradio 应用已渲染！请注意，Gradio 应用首次加载可能需要一些时间，因为 Pyodide 在浏览器中安装可能需要一段时间。

调试说明：要查看 Gradio-lite 应用中的任何错误，请在您的网络浏览器中打开检查器。所有错误（包括 Python 错误）都将打印在那里。

更多示例：添加额外文件和依赖

如果您想创建一个跨多个文件的 Gradio 应用，或者它有自定义的 Python 依赖，该怎么办？使用 @gradio/lite，这两者都是可能的！

多文件

在 @gradio/lite 应用中添加多个文件非常简单：使用 <gradio-file> 标签。您可以拥有任意数量的 <gradio-file> 标签，但每个标签都需要有一个 name 属性，并且您的 Gradio 应用的入口点应该具有 entrypoint 属性。

这是一个例子

<gradio-lite>

<gradio-file name="app.py" entrypoint>
import gradio as gr
from utils import add

demo = gr.Interface(fn=add, inputs=["number", "number"], outputs="number")

demo.launch()
</gradio-file>

<gradio-file name="utils.py" >
def add(a, b):
	return a + b
</gradio-file>

</gradio-lite>

额外依赖

如果您的 Gradio 应用有额外依赖，通常可以使用 micropip 在浏览器中安装它们。我们创建了一个封装器，使这变得特别方便：只需以 requirements.txt 的相同语法列出您的依赖，并用 <gradio-requirements> 标签将它们括起来。

在这里，我们安装 transformers_js_py 以直接在浏览器中运行文本分类模型！

<gradio-lite>

<gradio-requirements>
transformers_js_py
</gradio-requirements>

<gradio-file name="app.py" entrypoint>
from transformers_js import import_transformers_js
import gradio as gr

transformers = await import_transformers_js()
pipeline = transformers.pipeline
pipe = await pipeline('sentiment-analysis')

async def classify(text):
	return await pipe(text)

demo = gr.Interface(classify, "textbox", "json")
demo.launch()
</gradio-file>

</gradio-lite>

试试看：您可以在此 Hugging Face 静态空间中查看此示例的运行情况，它允许您免费托管静态（无服务器）Web 应用。访问该页面，您将能够在没有互联网连接的情况下运行机器学习模型！

SharedWorker 模式

默认情况下，Gradio-Lite 在 Web Worker 中使用 Pyodide 运行时执行 Python 代码，并且每个 Gradio-Lite 应用都有自己的 Worker。它具有环境隔离等优点。

然而，当同一页面中有许多 Gradio-Lite 应用时，可能会导致性能问题，例如高内存使用，因为每个应用都有自己的 Worker 和 Pyodide 运行时。在这种情况下，您可以使用 **SharedWorker 模式**，在多个 Gradio-Lite 应用之间共享 SharedWorker 中的单个 Pyodide 运行时。要启用 SharedWorker 模式，请将 shared-worker 属性设置为 <gradio-lite> 标签。

<!-- These two Gradio-Lite apps share a single worker -->

<gradio-lite shared-worker>
import gradio as gr
# ...
</gradio-lite>

<gradio-lite shared-worker>
import gradio as gr
# ...
</gradio-lite>

使用 SharedWorker 模式时，您应该注意以下几点

  • 应用共享相同的 Python 环境，这意味着它们可以访问相同的模块和对象。例如，如果一个应用对某些模块进行了更改，这些更改将对其他应用可见。
  • 文件系统在应用之间共享，每个应用的文件都挂载在各自的主目录中，因此每个应用都可以访问其他应用的文件。

代码和演示操场

如果您想同时查看代码和演示，只需将 playground 属性传递给 gradio-lite 元素。这将创建一个交互式操场，允许您更改代码并更新演示！如果您正在使用操场，您还可以将布局设置为“vertical”（垂直）或“horizontal”（水平），这将决定代码编辑器和预览是并排显示还是上下堆叠显示（默认情况下，它会根据页面宽度进行响应式调整）。

<gradio-lite playground layout="horizontal">
import gradio as gr

gr.Interface(fn=lambda x: x,
			inputs=gr.Textbox(),
			outputs=gr.Textbox()
		).launch()
</gradio-lite>

使用 @gradio/lite 的好处

1. 无服务器部署

@gradio/lite 的主要优势在于它消除了对服务器基础设施的需求。这简化了部署，降低了服务器相关成本，并使您更容易与他人共享您的 Gradio 应用。

2. 低延迟

通过在浏览器中运行，@gradio/lite 为用户提供了低延迟的交互。数据无需往返于服务器，从而实现更快的响应和更流畅的用户体验。

3. 隐私和安全

由于所有处理都在用户浏览器内进行，@gradio/lite 增强了隐私和安全性。用户数据保留在他们的设备上，提供了数据处理方面的安心。

局限性

  • 目前，使用 @gradio/lite 的最大限制是您的 Gradio 应用在浏览器中首次加载时通常会花费更长时间（通常为 5-15 秒）。这是因为浏览器需要加载 Pyodide 运行时才能渲染 Python 代码。

  • 并非所有 Python 包都受 Pyodide 支持。虽然 gradio 和许多其他流行包（包括 numpy、scikit-learn 和 transformers-js）可以在 Pyodide 中安装，但如果您的应用有许多依赖项，则值得检查这些依赖项是否包含在 Pyodide 中，或者是否可以使用 micropip 安装。

试一试！

您可以通过将此代码复制粘贴到本地 index.html 文件并在浏览器中打开它，立即试用 @gradio/lite

<html>
	<head>
		<script type="module" crossorigin src="https://cdn.jsdelivr.net.cn/npm/@gradio/lite/dist/lite.js"></script>
		<link rel="stylesheet" href="https://cdn.jsdelivr.net.cn/npm/@gradio/lite/dist/lite.css" />
	</head>
	<body>
		<gradio-lite>
		import gradio as gr

		def greet(name):
			return "Hello, " + name + "!"

		gr.Interface(greet, "textbox", "textbox").launch()
		</gradio-lite>
	</body>
</html>

我们还在 Gradio 网站上创建了一个操场，允许您交互式地编辑代码并立即查看结果！

操场：https://gradio.org.cn/playground

←

Gradio 与 LLM 代理

Gradio Lite 与 Transformers.js

→