Gradio支持传递批处理函数。批处理函数是接受输入列表并返回预测列表的函数。
例如，这是一个批处理函数，它接受两个输入列表（一个单词列表和一个整数列表），并返回一个修剪后的单词列表作为输出
import time
def trim_words(words, lens):
trimmed_words = []
time.sleep(5)
for w, l in zip(words, lens):
trimmed_words.append(w[:int(l)])
return [trimmed_words]使用批处理函数的优点是，如果启用排队功能，Gradio服务器可以自动将传入请求批处理并并行处理它们，从而可能加快您的演示速度。Gradio代码如下所示（注意batch=True和max_batch_size=16）
使用gr.Interface类
demo = gr.Interface(
fn=trim_words,
inputs=["textbox", "number"],
outputs=["output"],
batch=True,
max_batch_size=16
)
demo.launch()使用gr.Blocks类
import gradio as gr
with gr.Blocks() as demo:
with gr.Row():
word = gr.Textbox(label="word")
leng = gr.Number(label="leng")
output = gr.Textbox(label="Output")
with gr.Row():
run = gr.Button()
event = run.click(trim_words, [word, leng], output, batch=True, max_batch_size=16)
demo.launch()在上面的示例中，可以并行处理16个请求（总推理时间为5秒），而不是单独处理每个请求（总推理时间为80秒）。许多Hugging Face transformers和diffusers模型与Gradio的批处理模式非常自然地配合：这里有一个使用diffusers批量生成图像的示例演示