1. 其他教程
  2. 运行后台任务

运行后台任务

简介

本指南解释了如何在您的gradio应用中运行后台任务。后台任务是在应用请求-响应生命周期之外执行的操作,可以是一次性执行,也可以是按计划定期执行。后台任务的例子包括定期将数据同步到外部数据库,或通过电子邮件发送模型预测报告。

概述

我们将创建一个简单的“谷歌表单式”应用,用于收集gradio库用户的反馈。我们将使用本地sqlite数据库存储数据,但会定期将数据库状态与HuggingFace数据集同步,以便我们的用户评论始终得到备份。同步操作将在每60秒运行一次的后台任务中进行。

演示结束时,您将拥有一个像下面这样的完整运行应用

第1步 - 编写数据库逻辑 💾

我们的应用将存储评论者的姓名、他们对gradio的1到5评分,以及他们对该库的任何评论。让我们编写一些代码来创建一个数据库表来存储这些数据。我们还将编写一些函数来向该表中插入评论并获取最新的10条评论。

我们将使用 sqlite3 库连接到sqlite数据库,但gradio适用于任何库。

代码如下所示

DB_FILE = "./reviews.db"
db = sqlite3.connect(DB_FILE)

# Create table if it doesn't already exist
try:
    db.execute("SELECT * FROM reviews").fetchall()
    db.close()
except sqlite3.OperationalError:
    db.execute(
        '''
        CREATE TABLE reviews (id INTEGER PRIMARY KEY AUTOINCREMENT NOT NULL,
                              created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP NOT NULL,
                              name TEXT, review INTEGER, comments TEXT)
        ''')
    db.commit()
    db.close()

def get_latest_reviews(db: sqlite3.Connection):
    reviews = db.execute("SELECT * FROM reviews ORDER BY id DESC limit 10").fetchall()
    total_reviews = db.execute("Select COUNT(id) from reviews").fetchone()[0]
    reviews = pd.DataFrame(reviews, columns=["id", "date_created", "name", "review", "comments"])
    return reviews, total_reviews


def add_review(name: str, review: int, comments: str):
    db = sqlite3.connect(DB_FILE)
    cursor = db.cursor()
    cursor.execute("INSERT INTO reviews(name, review, comments) VALUES(?,?,?)", [name, review, comments])
    db.commit()
    reviews, total_reviews = get_latest_reviews(db)
    db.close()
    return reviews, total_reviews

我们还将编写一个函数,在gradio应用加载时加载最新的评论

def load_data():
    db = sqlite3.connect(DB_FILE)
    reviews, total_reviews = get_latest_reviews(db)
    db.close()
    return reviews, total_reviews

第2步 - 创建gradio应用 ⚡

现在我们已经定义了数据库逻辑,我们可以使用gradio创建一个动态网页来征求用户的反馈!

with gr.Blocks() as demo:
    with gr.Row():
        with gr.Column():
            name = gr.Textbox(label="Name", placeholder="What is your name?")
            review = gr.Radio(label="How satisfied are you with using gradio?", choices=[1, 2, 3, 4, 5])
            comments = gr.Textbox(label="Comments", lines=10, placeholder="Do you have any feedback on gradio?")
            submit = gr.Button(value="Submit Feedback")
        with gr.Column():
            data = gr.Dataframe(label="Most recently created 10 rows")
            count = gr.Number(label="Total number of reviews")
    submit.click(add_review, [name, review, comments], [data, count])
    demo.load(load_data, None, [data, count])

第3步 - 与HuggingFace数据集同步 🤗

在第2步之后调用 demo.launch(),我们的应用就能完全运行了。但是,我们的数据将存储在本地机器上。如果sqlite文件意外删除,我们将丢失所有评论!让我们将数据备份到HuggingFace Hub上的数据集。

在继续之前,请在此处创建一个数据集。

现在在我们的脚本顶部,我们将使用huggingface hub客户端库连接到我们的数据集并拉取最新的备份。

TOKEN = os.environ.get('HUB_TOKEN')
repo = huggingface_hub.Repository(
    local_dir="data",
    repo_type="dataset",
    clone_from="<name-of-your-dataset>",
    use_auth_token=TOKEN
)
repo.git_pull()

shutil.copyfile("./data/reviews.db", DB_FILE)

请注意,您需要从HuggingFace的“设置”选项卡获取访问令牌,上述代码才能工作。在脚本中,令牌通过环境变量安全访问。

access_token

现在我们将创建一个后台任务,每60秒将本地数据库同步到数据集中心。我们将使用AdvancedPythonScheduler来处理调度。当然,这不是唯一可用的任务调度库。您可以随意使用任何您习惯的库。

备份数据的函数如下所示

from apscheduler.schedulers.background import BackgroundScheduler

def backup_db():
    shutil.copyfile(DB_FILE, "./data/reviews.db")
    db = sqlite3.connect(DB_FILE)
    reviews = db.execute("SELECT * FROM reviews").fetchall()
    pd.DataFrame(reviews).to_csv("./data/reviews.csv", index=False)
    print("updating db")
    repo.push_to_hub(blocking=False, commit_message=f"Updating data at {datetime.datetime.now()}")


scheduler = BackgroundScheduler()
scheduler.add_job(func=backup_db, trigger="interval", seconds=60)
scheduler.start()

第4步(额外) - 部署到HuggingFace Spaces

您可以使用HuggingFace Spaces 平台免费部署此应用 ✨

如果您以前没有使用过Spaces,请参阅此处的指南。您需要使用 HUB_TOKEN 环境变量作为 Guides 中的密钥。

结论

恭喜!您已经学会了如何按计划在gradio应用中运行后台任务 ⏲️。

在此处查看在Spaces上运行的应用:https://hugging-face.cn/spaces/freddyaboulton/gradio-google-forms。完整代码位于此处

gradio