通过 fastapi 和 celery 来安排定时任务

by walter

示例一 你想要构建一个基于 FastAPI 的 Web 应用，其中集成 Celery Worker 和 Celery Beat，并且根据 Web 请求来动态安排定时任务。以下是详细的步骤和代码示例，帮助你完成这一任务。 1. 安装依赖 首先，你需要安装 FastAPI、Celery、Redis（用于任务队列）等依赖： pip install fastapi uvicorn celery redis Redis 将作为 Celery 的消息队列进行通信，因此你也需要启动 Redis 服务器。如果没有安装 Redis，可以通过以下命令进行安装： # Ubuntu/Debian sudo apt-get install redis-server # MacOS (brew) brew install redis 启动 Redis 服务器： redis-server 2. 项目结构 fastapi-celery-app/ │ ├── app/ │ ├── main.py […] →Read more

try k3s on raspberry

by walter

What is k3s K3s is a fully compliant Kubernetes distribution with the following enhancements: K8S 的 mini 版本, 用来边缘计算 Distributed as a single binary or minimal container image. — 以一个迷你的二进制包或容器镜像包分发 Lightweight datastore based on sqlite3 as the default storage backend. etcd3, MySQL, and Postgres are also available. — 基于 sqlite 的轻量级数据存储 Wrapped in simple launcher […] →Read more

python 的并发模型

by walter

并发指同时处理多件事 并行指同时做多件事 二者不同, 但有联系 一个关于结构, 一个关于执行 并发用于制定方案, 用来解决可能但未必并行的问题 Rob Pike Go 语言创造者之一 python 解释器仅使用一个线程运行用户的程序和内存垃圾回收程序, 使用 threading 或 current.future 库可以启动额外的 python 线程, 但是 python 有一个 GIL(Global Interpreter Lock ) 全局解释器锁, 任意时间点上只能有一个 python 线程可以持有 GIL , 这个锁控制对象引用计数和解释器的内部状态, 任意时间点上只有一个线程才能执行 python 代码, 哪怕你有多个 CPU 或者 CPU 有多个核. 为防止一个 Python 线程无限期持有 GIL, pyhon 解释器每 5 毫秒暂停当前线程, 释放 GIL , 由操作系统调度程序来挑选一个等待的线程 […] →Read more

langchain quick start

by walter

Overview LangChain is a framework to build with LLMs by chaining interoperable components. LangGraph is the framework for building controllable agentic workflows. build an application install library pip install langchain pip install -qU langchain-openai example 1 #!/usr/bin/env python3 from typing import List from langchain_openai import ChatOpenAI from langchain_core.output_parsers import StrOutputParser from langchain_core.prompts import ChatPromptTemplate import […] →Read more

在Markdown中输入数学公式

by walter

在Markdown中输入数学公式，通常需要使用LaTeX语法，并且需要借助一些支持LaTeX的Markdown解析器，比如MathJax或KaTeX。以下是一些基本的示例： 行内公式：使用单个$符号包围LaTeX代码。 $E = mc^2$ 显示公式：使用双$$符号或\[和\]包围LaTeX代码。 $$E = mc^2$$ 或者 \[ E = mc^2 \] 分数：使用\frac{分子}{分母}。 $$\frac{a}{b}$$ 根号：使用\sqrt。 $$\sqrt{x}$$ 上标和下标：使用^和_。 $$x^2$$ $$x_i$$ 希腊字母：使用\alpha, \beta, \gamma等。 $$\alpha$$ $$\beta$$ 大括号：用于创建多行公式或复杂的公式结构。 $$\left\{ \begin{array}{c} a = b + c \\ d = e + f \end{array} \right.$$ →Read more

提示工程优化方法之一 zero shot

by walter

Zero-Shot Zero shot学习，也称为零样本学习（Zero-Shot Learning，简称ZSL），是一种机器学习范式，它允许模型在训练阶段从未见过的类别上进行预测和分类。这种学习方式特别适用于那些难以获取大量标注数据的领域，或者在面对罕见或未知类别时的场景。 在Zero shot学习中，模型通常会使用辅助信息，如类别的文本描述、属性或嵌入表示等，来理解在训练阶段未出现过的类别。这些辅助信息帮助模型建立起类别之间的语义联系，从而在没有直接样本的情况下也能进行有效的预测。 Use Emotional Language 使用情感语言 Assign a Role 分配角色 Define a Style 定义风格 #!/usr/bin/env python3 from pydantic import BaseModel import simple_llm_agent class Email(BaseModel): subject: str message: str client = simple_llm_agent.LlmAgent() def generate_email(subject, to, sender, tone): system_prompt = "You are a smart sesecretary" user_prompt = f""" Write an email about {subject} […] →Read more

ANEW 模型

by walter

A: Aspiration 理想 N: Neutral self-awareness 客观的自我评价 E: Endless curiosity 永无止境的好奇心 W: Willingness to be bad first 愿意从小白开始 →Read more

国产大模型的进步

by walter

同样的一个问题 提给 local codellama 模型 提给 deep seek 提给 openai 回答确实有高下之分, 可能我的本地模型比较小(codellama-7b), 不过国产 deepseek 与 openai 的差距不大 local codellama 的回答 Reactor 和 Proactor 是两种不同的设计模式，它们之间的主要区别在于处理 I/O 操作的方式。 Reactor 模式是一种事件驱动的模式，它将 I/O 操作视为事件，并将其与应用程序的业务逻辑进行集成。当 I/O 操作发生时，Reactor 会调度相应的处理函数来处理这些事件。这种模式通常用于基于消息的I/O系统中，如消息队列、消息总线等。 Proactor 模式是一种异步 I/O 模式，它将 I/O 操作视为异步任务，并将其与应用程序的业务逻辑进行集成。当 I/O 操作被调度时，Proactor 会立即返回，而不是等到 I/O 操作完成后再返回。这种模式通常用于需要快速处理大量的 I/O 操作的应用程序中，如文件服务器、网络服务器等。 在 Reactor 模式中，I/O 操作是事件驱动的，而在 Proactor 模式中，I/O 操作是异步任务驱动的。这意味着在 Reactor 模式中，应用程序需要一直等待 […] →Read more

利用 langchain 和 LLM 来给 PDF 做总结

by walter

在网上看到一个PDF, 讲的是 Gstreamer 的的动态管道的构建, 一瞥而过, 没时间细看, 通过 langchain 和 LLM 给它做个快速总结 代码如下 from langchain.document_loaders import UnstructuredPDFLoader from langchain.llms import OpenAI from langchain.chains import LLMChain from langchain.prompts import PromptTemplate # 加载 PDF 文件 pdf_loader = UnstructuredPDFLoader("path_to_your_pdf_file.pdf") documents = pdf_loader.load() # 获取 PDF 的纯文本内容 pdf_text = ' '.join([doc.page_content for doc in documents]) # 创建 LLM 对象 (使用 […] →Read more

挖矿病毒来势汹汹

by walter

病毒来了, 我的个人站点使用了 wordpress, 它的不知哪个漏洞让黑客攻入了我的站点 使用 top 命令看到了有不明进程始终占据了 100% 的 CPU 通过以下命令可以知道这个进程在哪里 sudo ls -l /proc/1118/cwd sudo ls -l /proc/$pid/exe sudo cat /proc/$pid/cmdline sudo cat /proc/1118/environ kill -9 $pid 没什么用, 一会儿它又起来了, 通过 ‘crontab -l’ 也没看到有 cronjob 存在, 不过可以断定它是通过 wordpress docker 的 php 进程侵入进来了, 于是更新 docker image, 删除 9000 端口映射, 重启 docker 进程, 暂时没有再发现有可疑进程 →Read more