Introduction to GenAI 2024 Spring, Course Notes
date
Jul 10, 2024
slug
intro2genai-notes
status
Published
tags
NLP
summary
type
Post
01 - 什么是生成式人工智能
02 - 今日的人工智能取得了怎样的能力
相比于过去的模型，通常专注于某些任务，目前的（各种模态）大模型具有相对通用的能力，我们需要通过各种模态的提示去驾驭它们。
现在我们使用这些大模型的手段主要有两种：
- 做提示工程，通过优化给大模型的输入来提升大模型的性能。
- 做微调，通过训练一个新的大模型来达到自己的目标。
03 - 05 提示工程中的一些 tricks
- 使用某些被发现的“神奇咒语”提示：被以各种手段发现可以提升模型性能的一些提示片段或模板，常见的有 让模型一步一步思考，让模型解释答案，情绪勒索，说给小费 等。这类提示通常是被人为发现，一种更系统的方法是使用强化学习来探索。需要注意的是这些“神奇咒语”并不总是对每个大模型有效。
- 为大模型提供额外的信息：比如提供背景信息或者提供范例，这种方式又被叫做 In Context Learning
- 分解任务为多个步骤：给大模型指出步骤，这也是为什么让大模型自己分步骤或者解释能够提升性能类似的道理。
- 让大模型使用工具：让大语言模型接触外部工具，比如搜索引擎和计算机等。
- 大模型之间合作：多个大模型之间讨论