Why Attention?

搜索场景

在搜索场景中，人们的目光往往会更加关注左上角的三角区域（即第一条搜索结果的位置)

阅读中

浏览图文信息

注意力机制

注意力机制，可以视为一致基于相似度的查表

核心模块： 注意力

• Transformer完全抛弃传统的CNN和RNN，整个网络结构完全由注意力机制组成

编码器-解码器结构

• 编码器将输入序列变换为隐藏层特征
• 解码器将隐藏层特征变换为输出序列

Mineru

MinerU是一个将PDF转换为机器可读格式的工具（例如，markdown，JSON），允许轻松提取为任何格式。

https://github.com/opendatalab/MinerU/blob/master/README.md

GPT系列模型成体系推进

大语言模型概念

定义： 通常指具有超大规模参数的预训练模型

架构：主要为transformer解码器架构

训练：

• 预训练（base model) 建立模型的基础能力
  • 数据： 海量文本数据
  • 优化：预测下一个词
• 后训练 (instruct model) 增强模型的任务能力
  • 数据： 大量指令数据
  • 优化： SFT、RL等方法
• 下游应用
  • 测速（推理）

在 Git Bash 中安装 pacman 的步骤如下：

1. 安装 Git for Windows

2. 打开 Git Bash 终端，右键选择"以管理员身份运行"

3. 运行下面的安装脚本，复制并粘贴以下命令到 Git Bash 中执行

   curl -s https://www.geekery.cn/sh/LinuxCTS/os/msys2/install-pacman-git-bash.sh | bash

4. 更新 pacman 的 repo：在更新之前，需要初始化 msys key。 首先要以管理员权限打开 Git-Bash。执行以下命令。下面命令的作用是初始化 msys keyring，更新包源，并同步包数据库。

   pacman-db-upgrade
   pacman-key --init
   pacman-key --populate msys2
   yes | pacman -Syuu

5. 安装必要的依赖：由于 Git 已经帮我们安装了一部分依赖，我们只需要安装 msys2-keyring 和 pacman-mirrors

6. 将安装的 pacman、msys2-keyring 和 pacman-mirrors 及其版本号写入 /etc/package-versions.txt，并用 pacman 将其写入数据库中。如果遇到未找到目标的错误，删除对应行即可

7. 修改 /etc/pacman.conf：关闭除 mingw64 和 msys 以外的所有软件源

Gitlab在mac下环境变量和用户环境变量不一致的问题

解决方法

编辑服务的plist文件，新增环境变量，

编辑服务文件 /Users/mac/Library/LaunchAgents/gitlab-runner.plist

Docker Compose File

version: "3"
services:
    kwaivgi-liveportrait:
        stdin_open: true
        tty: true
        deploy:
            resources:
                reservations:
                    devices:
                        - driver: nvidia
                          count: all
                          capabilities:
                              - gpu
        ports:
            - 7860:7860
        restart: always
        container_name: kwaivgiliveportrait
        image: jokerdragon/kwaivgi-liveportrait:latest
        command: python app.py