Prompt Engineering & LLM Optimization for Developers · Урок

Разбор и проверка результатов

Реализуйте надёжные механизмы разбора и проверки, чтобы результаты LLM соответствовали нужному формату и заданным стандартам качества.

«Разбор и проверка результатов» — бесплатный урок Prompt Engineering & LLM Optimization for Developers на CoddyKit. Это урок 3 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения Prompt Engineering & LLM Optimization for Developers, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс Prompt Engineering & LLM Optimization for Developers содержит 4 уроков всего.

Части этого урока еще не переведены и отображаются на английском.

Why Parse LLM Output?

Large Language Models (LLMs) are powerful, but their raw text outputs can be unpredictable. For applications, we often need structured, reliable data.

Output parsing is the process of converting an LLM's free-form text response into a structured format your application can easily use, like JSON or a specific data type.

The Need for Validation

Even after parsing, the extracted data might not be valid. An LLM might hallucinate a number, provide an incorrect type, or miss a required field.

Output validation ensures the parsed data adheres to predefined rules, data types, ranges, or custom business logic, preventing errors downstream in your application.

Challenges with Raw LLM Output

LLMs can sometimes include conversational filler, extra explanations, or slightly deviate from the requested format. Consider an LLM asked to return a user's ID and name:

"Here is the user: ID:123, Name:Alice."
"User info -> {id: 456, name: Bob}"
"ID is 789, Name is Charlie. Hope this helps!"

Each needs a different approach to extract the data.

Basic String Manipulation

For very simple and highly constrained outputs, basic string methods can work. This is suitable when you have strong control over the prompt and expect minimal deviation.

Common methods include trim(), substring(), indexOf(), and split() to isolate and extract parts of the string.

String Manipulation Example

Here's how to extract data from a simple "ID:123,Name:Alice" string using basic Java string methods:

public class Main {
  public static void main(String[] args) {
    String llmOutput = "ID:123,Name:Alice";
    
    String[] parts = llmOutput.split(",");
    String idStr = parts[0].replace("ID:", "").trim();
    String nameStr = parts[1].replace("Name:", "").trim();
    
    System.out.println("ID: " + idStr);
    System.out.println("Name: " + nameStr);
  }
}

Regular Expressions (Regex)

When output patterns are more complex, or you need to match specific formats with variations, Regular Expressions (Regex) are incredibly powerful. They define search patterns for strings.

Regex can extract data even if there's extra text, inconsistent spacing, or different ordering of elements.

Regex Parsing Example

Let's use regex to extract a number from a string that might have various prefixes or suffixes. This Java example uses java.util.regex.Pattern and Matcher.

import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class Main {
  public static void main(String[] args) {
    String llmOutput = "The magic number is 42! Please use it.";
    Pattern pattern = Pattern.compile("\\d+"); // Matches one or more digits
    Matcher matcher = pattern.matcher(llmOutput);
    
    if (matcher.find()) {
      System.out.println("Found number: " + matcher.group());
    } else {
      System.out.println("No number found.");
    }
  }
}

Parsing JSON Outputs

For structured data, JSON (JavaScript Object Notation) is the preferred format. LLMs can be prompted to output JSON directly. You'll need a JSON parsing library to convert the string into an object.

This allows you to access fields by name (e.g., data.get("id")) instead of relying on string positions.

JSON Parsing in Java

Using a library like org.json (or Jackson/Gson for more complex cases) simplifies parsing JSON. Here's how to parse a simple JSON string:

import org.json.JSONObject;

public class Main {
  public static void main(String[] args) {
    String jsonString = "{"id":123, "name":"Alice"}";
    try {
      JSONObject json = new JSONObject(jsonString);
      int id = json.getInt("id");
      String name = json.getString("name");
      
      System.out.println("User ID: " + id);
      System.out.println("User Name: " + name);
    } catch (Exception e) {
      System.err.println("Error parsing JSON: " + e.getMessage());
    }
  }
}

Implementing Data Validation

After parsing, validate the data. This involves checking data types, ranges, and business rules. For JSON, you might check if required fields exist, if numbers are within expected bounds, or if strings match certain patterns.

Example checks: age > 0, email.contains("@"), list.size() > 0.

Quick Check: Output Handling

When working with LLM outputs, what are effective strategies to ensure the data is usable and correct in your application?

Recap & Next Steps

In this lesson, you learned that robust LLM integration requires more than just prompting. You need to implement solid output parsing to extract data from raw text and output validation to ensure that data meets your application's requirements.

Basic string methods for simple cases.
Regular Expressions for pattern matching.
JSON parsing libraries for structured data.
Validation logic to check data types, ranges, and rules.

Mastering these techniques will significantly improve the reliability and stability of your LLM-powered applications. Next, explore advanced techniques like Retrieval Augmented Generation (RAG) to ground LLM responses in external knowledge!

Часто задаваемые вопросы

Урок «Разбор и проверка результатов» бесплатный?

Да — полный текст урока «Разбор и проверка результатов» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс Prompt Engineering & LLM Optimization for Developers, подпишись на CoddyKit PRO. Курс Prompt Engineering & LLM Optimization for Developers содержит 4 уроков всего.

Чему я научусь в уроке «Разбор и проверка результатов»?

Реализуйте надёжные механизмы разбора и проверки, чтобы результаты LLM соответствовали нужному формату и заданным стандартам качества. Ты практикуешь Prompt Engineering & LLM Optimization for Developers с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.

Нужен ли мне опыт, чтобы начать Prompt Engineering & LLM Optimization for Developers?

Предыдущий опыт не требуется. Prompt Engineering & LLM Optimization for Developers на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 3 из 4.

Сколько времени занимает урок «Разбор и проверка результатов»?

Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.

Можно ли писать и запускать код в этом уроке Prompt Engineering & LLM Optimization for Developers?

Да. Каждый урок Prompt Engineering & LLM Optimization for Developers включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.

Все уроки этого курса

Эффективное использование токенов и управление контекстом
Методы снижения задержки
Разбор и проверка результатов
Кэширование и пакетная обработка для снижения расходов на LLM

← Назад к Prompt Engineering & LLM Optimization for Developers