多模态信息抽取_CLIP模型
Title: Learning transferable visual models from natural language supervision 论文：https://arxiv.org/pdf/2103.00020 代码：https://github.com/OpenAI/CLIP 论文就
多模态大模型——pdf 识别
1. 多模态大模型——pdf 识别 本文将会介绍两种 pdf 识别理解的方法。 下面的内容都是在百炼大模型中实现的。 首先，我通过通义 qwen OCR 的角度入手。 我发现ocr 可以识别图片但是，在处理 pdf 的过程中需要操作一下
到底什么是 Embedding
近几年，“大语言模型”（LLM）凭借其强大的文本理解和生成能力，正在改变我们与数字世界的交互方式。 而在这背后，一个名为Embedding的关键技术，默默地扮演着连接语言与数学的"翻译官"角色。 1. 什么是 Embedding？ 简单来说，Embedding 是一种将非结构化数据（如文本、图像、音
大模型压测总踩坑：显存 OOM 与 TTFT 解决指南（附代码与避坑清单）
电商平台上线 AI 客服大模型，仅用 10 条短 prompt 简单地测了个 QPS=50 便直接投入运行。 结果在大促当天，用户发来的长 prompt 占比陡然增至 40%，而并发量刚达到 30 时，显存便立刻爆了 OOM（Out Of Memory），客服系统直接宕机长达两小时，所造成的损失超过
大模型小知识：解构 GGUF 文件
大模型小知识：解构 GGUF 文件 在使用大型语言模型时，我们经常会遇到一些现实问题： 模型文件太大、加载太慢、部署麻烦、兼容性差…… 尤其是当你尝试在本地电脑甚至手机上运行一个几百亿参数的模型时，这些问题就会变得尤为明显。 于是，**GGUF（GPT-Generated Unified Forma
大模型下半场：从 LLM-RL 到 Agentic RL 全新范式
1. 大模型下半场：从 LLM-RL 到 Agentic RL 全新范式 由牛津大学、上海 AI Lab、新加坡国立大学等 16 家研究机构联合发表的 100 页综述，首次系统提出**Agentic RL（代理式强化学习）**范式：把大语言模型（LLM）从
大模型推理中的_Prefill_Decode_分离技术的一些思考
近年来，随着大语言模型（Large Language Models, LLMs）在各类应用场景中广泛部署，如何高效、稳定、低成本地提供推理服务，已成为工业界关注的核心问题。 在这一背景下，“PD 分离”——即Prefill（预填充）与 Decode（解码）阶段的分离调度——逐渐成为高性能推理引擎的关
从零手写Transformer_使用PyTorch实现简化版英汉机器翻译
在上一篇文章中，我们手动实现了 Transformer 的核心组件，并详细解析了其结构原理。本文将在此基础上，演示一个简化版的英汉机器翻译系统，完整呈现其训练与推理流程。我们将使用 PyTorch 逐步搭建整个流程，重点突出核心逻辑，代码简洁易懂，便于理解。 需要说明的是，本文的目标并非构建高精度的
