Подготовка задачи tests
Навигация: Главная страница/Система ejudge/Использование/Виды задач/Задача на написание тестов/Подготовка задачи
Задачи этого типа являются самыми сложными для подготовки. При описании подготовки таких задач будет предполагаться, что турнир настраивается в альтернативной раскладке файлов, то есть все файлы, относящиеся к задаче, размещаются в одном каталоге.
Contents
Настройка основных параметров задачи
Поскольку задача на написание тестов предполагает запуск программ на тестовых данных аналогично стандартной задаче, в разделе конфигурации задачи должны быть установлены параметры, относящиеся к тестированию задач. Например:
# Идентификационные параметры задачи id = ... short_name = ... long_name = ... # Основные параметры задачи test_sfx = ".dat" # Суффикс имен файлов с тестовыми данными use_corr # Проверка использует файлы с правильными ответами corr_dir = "%Ps" # Каталог с файлами с правильными ответами - значение не важно corr_sfx = ".ans" # Суффикс имен файлов с правильным ответом use_stdin # Программа считывает результат со стандартного потока ввода use_stdout # Программа выводит результат на стандартный поток вывода standard_checker = "cmp_int" # Проверка - сравнение двух целых чисел time_limit = 1 # Ограничение времени ЦП - 1 секунда real_time_limit = 5 # Ограничение реального времени - 5 секунд max_stack_size = 8M # Ограничение размера стека - 8 мегабайт max_vm_size = 64M # Ограничение общего размера вирт. памяти - 64 мегабайта
Идентификационные параметры задачи — это идентификатор задачи id, короткое название short_name, полное название long_name и, возможно, внутреннее название задачи internal_name.
Значение параметра corr_dir несущественно, так как предполагается что турнир настраивается в альтернативной раскладке файлов. Тем не менее, параметр corr_dir должен быть установлен в некоторое непустое значение.
Настройка дополнительных параметров для задач на разработку тестов
Для задачи на написание тестов должны быть установлены следующие параметры задачи.
type = "tests" binary enable_language = "application/x-gzip"
Параметр type задает тип задачи как задачу на разработку тестов. Параметр binary разрешает прием двоичных файлов в качестве решений. Параметр enable_language разрешает прием файлов формата GZIP в качестве решений.
Настройка проверки правильности сдаваемого архива
Архив, сдаваемый участником на проверку, должен быть проверен на корректность. Необходимо проверить, что файлы в архиве по отдельности и все в целом удовлетворяют ограничениям на размер и количество файлов, что имена всех файлов заданы корректно, что в архиве отсутствуют лишние файлы. Эта проверка должна быть выполнена без разархивирования архива в файловую систему во избежание потенциальных дыр в безопасности. Такая проверка выполняется программой style_archive, поставляемой в составе ejudge.
Чтобы включить проверку сдаваемых архивов необходимо добавить в раздел описания задачи определение конфигурационной переменной style_checker.
style_checker_cmd = "@prefix@/libexec/ejudge/checkers/style_archive"
Здесь @prefix@ будет автоматически заменен на каталог, в который проинсталлирована система ejudge. Параметры проверки архива на целостность программе style_archive можно передавать либо с помощью командной строки, либо с помощью переменных окружения. В разделе конфигурации задачи можно воспользоваться механизмом передачи параметров с помощью переменных окружения.
Чтобы установить максимальный размер файла в архиве равным 1 килобайт необходимо задать переменную окружения EJ_MAX_FILE_SIZE.
style_checker_env = "EJ_MAX_FILE_SIZE=1K"
Чтобы установить максимальное количество тестов (то есть пар файлов c входными данными и с правильным ответом) равным 10 необходимо задать переменую окружения EJ_MAX_TEST_COUNT.
style_checker_env = "EJ_MAX_TEST_COUNT=10"
Параметр style_checker_env может повторяться в разделе описания задачи несколько раз. Для полного описания поддерживаемых программой style_archive переменных окружения смотрите ее описание.
Настройка проверки тестов
Файлы с тестовыми данными, сданные на проверку, должны быть предварительно проверены на корректность проверяющей программой для тестов. Провеяющая программа для тестов должна проверить входной и выходной форматы файлов, ограничения на входные данные. Кроме того, программа может проверить соответствие входных данных и ответа.
Имя проверяющей программы для тестов задается с помощью конфигурационной переменной test_checker_cmd. При необходимости дополнительные переменные окружения могут задаваться с помощью конфигурационной переменной test_checker_env.
test_checker_cmd = "testcheck"
В этом примере имя проверяющей программы — testcheck.
Итоговая конфигурация задачи
С учетом всего вышесказанного, раздел конфигурации задачи может выглядеть следующим образом.
id = ... short_name = ... long_name = ... type = "tests" test_sfx = ".dat" use_corr corr_dir = "%Ps" corr_sfx = ".ans" use_stdin use_stdout standard_checker = "cmp_int" time_limit = 1 real_time_limit = 5 max_stack_size = 8M max_vm_size = 64M binary enable_language = "application/x-gzip" style_checker_cmd = "@prefix@/libexec/ejudge/checkers/style_archive" style_checker_env = "EJ_MAX_FILE_SIZE=1K" style_checker_env = "EJ_MAX_TEST_COUNT=10" test_checker_cmd = "testcheck"
Часть этих параметров можно перенести в раздел абстрактной задачи.
Написание проверяющей программы для тестов
Следующий шаг — написание программы для проверки корректности тестов. Эта программа получает два аргумента командной строки: имя файла с тестовыми данными и имя файла с правильным результатом работы. Программа проверки корректности тестов может, в принципе, модифицировать и первый, и второй файл. Для последующего тестирования будут передаваться уже модифицированные файлы.
Рассмотрим программу для проверки корректности тестов для задачи сложения двух целых чисел. На стандартном потоке ввода задаются два целых числа в диапазоне [-32768;32767]. На стандартный поток вывода необходимо напечатать сумму этих чисел.
Программу проверки корректности тестов можно писать на любом языке (в том числе и скриптовом). В нашем случае эта программа будет написана на языке Си с использованием библиотеки libchecker.
#include "checkutils.h" #include <limits.h> int main(int argc, char **argv) { int x, y, z; /* проверить, что передано правильное число аргументов командной строки */ if (argc != 3) fatal_CF("wrong number of arguments"); /* открыть файл с тестовыми данными и прочитать два числа */ checker_in_open(argv[1]); checker_read_int_ex(f_arr[0], fatal_PE, "x", 1, &x); checker_read_int_ex(f_arr[0], fatal_PE, "y", 1, &y); checker_eof(f_arr[0], fatal_PE, "test input"); checker_in_close(); /* проверить ограничения на входные данные */ if (x < SHRT_MIN || x > SHRT_MAX) fatal_PE("first value is out of range"); if (y < SHRT_MIN || y > SHRT_MAX) fatal_PE("second value is out of range"); /* открыть файл с правильным ответом и прочитать число */ checker_out_open(argv[2]); checker_read_int_ex(f_arr[1], fatal_PE, "z", 1, &z); checker_eof(f_arr[1], fatal_PE, "test answer"); checker_out_close(); /* проверить правильность ответа */ if (z != x + y) fatal_WA("wrong answer"); return 0; }
Эту программу назовем testcheck.c и поместим в каталог с файлами задачи. Обратите внимание, что внутренняя ошибка проверки выдается в случае неправильного использования самой программы проверки тестов. Если входной файл или файл правильного ответа не соответствуют ограничениям задачи, выдается ошибка неправильного формата результата.
Если в файле правильного ответа на самом деле записан неправильный ответ, программа проверки тестов выдает ошибку неправильный ответ. Это не обязательно. Неправильные ответы можно и не выявлять на стадии проверки тестов, тогда на стадии запуска тестовых программ корректные программы не пройдут эти тесты, что тоже будет диагностировано как ошибка в тестах, предъявленных на проверку.
