ChatGPT・Claude・Geminiなど生成AIを仕事で活用するエンジニア必見。LLM・RAG・ファインチューニング・プロンプトエンジニアリングなどAI開発の現場用語を解説します。
大規模言語モデル。大量のテキストデータで学習した深層学習モデルで、自然言語の生成・理解・翻訳・要約を行う。GPT-4・Claude・Geminiが代表例。
外部の知識ベースを検索して取得した情報をLLMの回答生成に組み合わせる手法。LLMの「知識の鮮度・正確性」を補完できる。
事前学習済みモデルを特定タスク・ドメインのデータで追加学習させること。医療・法律など専門ドメインへの適応に有効。
LLMに対して期待通りの出力を引き出すための入力テキスト(プロンプト)の設計・最適化技術。Chain-of-ThoughtやFew-shotプロンプトが代表的手法。
単語・文章・画像などをベクトル(多次元の数値)として表現したもの。意味的な類似性を数値距離で計算でき、RAGのベクトル検索に使われる。
エンベディングを高速に格納・検索するデータベース。Pinecone・Weaviate・pgvectorが代表例。RAGシステムの中核コンポーネント。
LLMがテキストを処理する最小単位。英語では約4文字、日本語では約1〜2文字が1トークンに相当。APIコストはトークン数で計算される。
LLMが事実と異なる情報を自信満々に出力する現象。対策としてRAG・グラウンディング・ファクトチェックが有効。
テキスト・画像・音声・動画など複数の種類のデータを同時に処理・生成できるAIモデルの特性。GPT-4o・Gemini 1.5 Proが代表例。
LLMがツールを呼び出し・計画を立て・自律的に行動するシステム。Web検索・コード実行・API呼び出しを組み合わせて複雑なタスクをこなす。
LLMが一度に処理できるトークン数の上限。長いコードやドキュメントをそのまま与えられる長いコンテキストウィンドウほど実用的なタスクに対応しやすい。
大規模なモデル(教師モデル)の知識を、より小さなモデル(生徒モデル)に転移させる技術。軽量で高性能なモデルを作るために使われる。
RAGは「最新情報を取得して回答に組み込む」用途に向き、ファインチューニングは「特定のスタイルや専門知識を学習させる」用途に向いています。コストはRAGの方が低く、まずRAGを試すのが一般的です。
はい。プロンプトエンジニアリングはコーディングなしで学べます。ただし効果的なプロンプトはLLMの仕組み(トークン・コンテキスト)を理解していると設計しやすくなります。
現時点では完全な防止は困難です。RAGで根拠となる情報を与える・出力を他の情報源で検証する・ファクトチェックステップを挟む、を組み合わせてリスクを下げるアプローチが主流です。
ITエンジニア向け転職サービス2強を並行利用するのが最も効果的です。
※どちらも完全無料。登録だけで市場価値を確認できます。