| guestfs-performance(1) | Virtualization Support | guestfs-performance(1) |
guestfs-performance — керування libguestfs з метою отримання найкращої швидкодії
Цю сторінку присвячено питанням отримання найліпшої швидкодії libguestfs, особливо у випадках, коли ви хочете використовувати libguestfs для керування тисячами віртуальних машин або образів дисків.
Наведені рекомендації стосуються трьох основних областей. Libguestfs запускає базову систему (невеличкий дистрибутив Linux) у qemu/KVM. Першими двома областями є мінімізація часу запуску базової системи та кількості запусків базової системи. Третьою областю є скорочення часу, потрібного на інспектування віртуальних машин.
Перш ніж вносити зміни до способів використання libguestfs, виконайте базові виміри.
На незавантаженій машині час, який потрібне для запуску базової системи:
time guestfish -a /dev/null run
Віддайте цю команду декілька разів послідовно і відкиньте результати перших декількох запусків, щоб виміряти типовий випадок із «гарячим кешем».
Side note for developers: There is a program called boot-benchmark in https://github.com/libguestfs/libguestfs-analysis-tools which does the same thing, but performs multiple runs and prints the mean and standard deviation.
Пояснення
Наведена вище команда guestfish запускає базову систему libguestfs для порожнього диска, а потім одразу вимикає її. Під час першого виконання команди програма створить базову систему і виконає її кешування (зазвичай, у /var/tmp/.guestfs-*). Під час наступних запусків програма просто повторно використовуватиме кешовану базову систему.
Очікувані результати
Слід очікувати значень тривалості виконання дії, менших за 6 секунд. Якщо для ненавантаженої машини ви спостерігаєте значення тривалості, яке є вищим за вказане, вам слід ознайомитися із вмістом розділу "БОРОТЬБА ІЗ ПРОБЛЕМАМИ ЗІ ШВИДКОДІЄЮ", наведеного нижче.
Для цього тесту вам потрібна буде ненавантажена машина і принаймні одна справжня гостьова система або образ диска. Якщо ви плануєте використовувати libguestfs лише для гостьових систем X (наприклад, X = Windows), тоді у цьому тесті варто використати саме гостьову систему X. Якщо ж ви плануєте використовувати libguestfs для різних гостьових систем, скористайтеся у цьому тесті різними гостьовими системами.
Визначте тривалість інспектування і монтування дисків гостьової системи. Скористайтеся першою з команд, якщо ви використовуватимете образи дисків, і другою із команд, якщо ви використовуватимете libvirt.
time guestfish --ro -a диск.img -i exit time guestfish --ro -d НазваГостьовоїСистеми -i exit
Віддайте цю команду декілька разів послідовно і відкиньте результати перших декількох запусків, щоб виміряти типовий випадок із «гарячим кешем».
Пояснення
Ця команда запускає базову систему libguestfs для іменованого образу диска або гостьової системи libvirt, виконує її інспектування за допомогою libguestfs (див. "ІНСПЕКТУВАННЯ" in guestfs(3)), монтує диски гостьової системи, а потім відкидає усі ці результати і завершує роботу.
Під час першого виконання команди програма створить базову систему і виконає її кешування (зазвичай, у /var/tmp/.guestfs-*). Під час наступних запусків програма просто повторно використовуватиме кешовану базову систему.
Очікувані результати
Слід очікувати на тривалість виконання, яка на ≤ 5 секунд перевищує виміряну у першому базовому тесті вище. (Наприклад, якщо перший базовий тест було виконано за 5 секунд, цей тест має виконуватися за ≤ 10 секунд.)
Під час першої спроби скористатися libguestfs бібліотека збирає і надсилає до кешу базову систему. Зазвичай, така базова система має адресу /var/tmp/.guestfs-*, якщо вами не було встановлено значень для змінних середовища $TMPDIR або $LIBGUESTFS_CACHEDIR. Якщо було встановлено такі значення, базова система зберігатиметься у відповідному тимчасовому каталозі.
Щоб дізнатися більше про побудову базової системи, див. "БАЗОВІ СИСТЕМИ SUPERMIN" in supermin(1).
Під час кожного запуску libguestfs намагається визначити, чи не було змінено якість файли основної системи, які використовуються базовою системою. Якщо було змінено хоч один такий файл, базову систему буде перезібрано. Таке, зазвичай, трапляється, якщо у основній системі встановлюється або оновлюється якийсь пакунок (наприклад, за допомогою програм, подібних до "yum" або "apt-get"). Причиною повторного збирання базової системи є забезпечення захисту: нова програма, яку було встановлено, може містити виправлення захисту, тому нам варто включити виправлену програму до базової системи автоматично.
Ось речі, які пов'язано із швидкодією:
Щоб мати повний контроль над тим, коли збирається базова система, ви можете зібрати фіксовану базову систему. Ця базова система має зберігатися на швидкому локальному диску.
Щоб зібрати образ системи для розгортання, віддайте таку команду:
libguestfs-make-fixed-appliance <каталог>
замінивши рядок "<каталог>" на назву каталогу, у якому зберігатиметься базова система (зазвичай, вам слід вказати підкаталог, наприклад: /usr/local/lib/guestfs/appliance або /dev/shm/appliance).
Далі, встановіть значення для $LIBGUESTFS_PATH (і переконайтеся, що цю змінну середовища встановлено у вашій програмі libguestfs) або внесіть зміни до вашої програми так, щоб вона викликала "guestfs_set_path". Приклад:
export LIBGUESTFS_PATH=/usr/local/lib/guestfs/appliance
Тепер ви можете запускати програми libguestfs, засоби віртуалізації, guestfish тощо у звичний спосіб. Програми використовуватимуть вашу фіксовану базову систему і ніколи не збиратимуть, не перезбиратимуть і не кешуватимуть власну базову систему.
(Докладніші відомості з цієї теми можна знайти тут: libguestfs-make-fixed-appliance(1)).
Наші тестування показали, що використання фіксованої базової системи не дає ніяких помітних переваг у швидкодії, навіть якщо розташувати базову систему у оперативній пам'яті (тобто на пристрої /dev/shm). Втім, слід зважити ось на що:
time guestfish -a /dev/null run
не дуже навантажує базову систему. Справжня програма libguestfs, де використовуватимуться складні виклики програмного інтерфейсу, навантажуватиме базову систему набагато більше. Можливість зберігати базову систему у вказаному місці робить швидкодію значно передбачуванішою.
Набагато ефективнішим, але не завжди найпростішим способом дістати добру швидкодію є забезпечення якомога меншої кількості запусків базової системи. Це, ймовірно, включає внесення змін до самої вашої програми libguestfs.
Намагайтеся викликати "guestfs_launch" не більше одного разу на одну віртуальну машину або образ диска.
Замість використання окремого екземпляра guestfish(1) для внесення змін до тієї самої гостьової системи, скористайтеся єдиним екземпляром guestfish і/або використовуйте параметр guestfish --listen.
Спробуйте написати вашу програму у формі фонової служби, яка підтримує зв'язок із гостьовою системою відкритим протягом усього сеансу внесення послідовності змін. Крім того, можете скерувати усі дії, які ви хочете виконати, до відкриття зв'язку із гостьовою системою.
Ви також можете спробувати додавати диски з декількох гостьових систем до єдиної базової системи. Перш ніж намагатися це зробити, врахуйте ось що:
virt-df(1), типово, додає одразу декілька дисків, тому код цієї програми є чудовим прикладом для ваших власних розробок.
Основна порада очевидна: не виконуйте інспектування (це дуже витратна операція), якщо вам не потрібні його результати.
Якщо гостьова система інспектується декілька разів, варто створити кеш результатів першого інспектування і повторно скористатися ними для наступних дій.
Деякі диски взагалі не потребують інспектування. Наприклад, якщо ви створюєте образ диска, або якщо образ диска не є віртуальною машиною, або якщо образ диска має заздалегідь відоме компонування.
Навіть якщо базове інспектування ("guestfs_inspect_os") є обов'язковим, можна обійтися без допоміжних операцій з інспектування:
Базові системи libguestfs є здебільшого зв'язками введення-виведення даних, отже ви можете паралельно запускати одразу декілька базових систем. Якщо у основній системі достатньо багато вільної оперативної пам'яті, між запуском 1 базової системи і паралельним запуском багатьох базових систем відмінність є незначною.
На 2-ядерному (4 потоки обробки) ноутбуці із 16 ГБ оперативної пам'яті, використання (не дуже реалістичного) тестового скрипту мовою Perl, наведеного нижче, дало вказані нижче результати, які свідчать про чудову масштабованість у запуску 1 базової системи і паралельному запуску 20 базових систем:
12 ++---+----+----+----+-----+----+----+----+----+---++
+ + + + + + + + + + *
| |
| * |
11 ++ ++
| |
| |
| * * |
10 ++ ++
| * |
| |
s | |
9 ++ ++
e | |
| * |
c | |
8 ++ * ++
o | * |
| |
n 7 ++ ++
| * |
d | * |
| |
s 6 ++ ++
| * * |
| * |
| |
5 ++ ++
| |
| * |
| * * |
4 ++ ++
| |
| |
+ * * * + + + + + + + +
3 ++-*-+----+----+----+-----+----+----+----+----+---++
0 2 4 6 8 10 12 14 16 18 20
кількість паралельних базових систем
Можна запустити і набагато більше за 20 базових систем паралельно, але вам слід мати на увазі, що якщо ви використовуєте модуль обробки libvirt, типово, libvirt обмежує кількість з'єднань із клієнтами двадцятьма.
Для отримання даних, наведених на рисунку вище, було використано простий скрипт мовою Perl, наведений нижче. Втім, набагато більше відомостей з цього питання, зокрема досконаліші скрипти для тестування та графіки, можна знайти у наступних дописах у блогах:
http://rwmj.wordpress.com/2013/02/25/multiple-libguestfs-appliances-in-parallel-part-1/ http://rwmj.wordpress.com/2013/02/25/multiple-libguestfs-appliances-in-parallel-part-2/ http://rwmj.wordpress.com/2013/02/25/multiple-libguestfs-appliances-in-parallel-part-3/ http://rwmj.wordpress.com/2013/02/25/multiple-libguestfs-appliances-in-parallel-part-4/
#!/usr/bin/env perl
use strict;
use threads;
use warnings;
use Sys::Guestfs;
use Time::HiRes qw(time);
sub test {
my $g = Sys::Guestfs->new;
$g->add_drive_ro ("/dev/null");
$g->launch ();
# Тут можна виконати якісь завдання за допомогою libguestfs.
$g->close ();
}
# Отримати усе до кешу.
test (); test (); test ();
for my $nr_threads (1..20) {
my $start_t = time ();
my @threads;
foreach (1..$nr_threads) {
push @threads, threads->create (\&test)
}
foreach (@threads) {
$_->join ();
if (my $err = $_->error ()) {
die "launch failed with $nr_threads threads: $err"
}
}
my $end_t = time ();
printf ("%d %.2f\n", $nr_threads, $end_t - $start_t);
}
Починаючи з libguestfs 1.24, стало можливим використання модуля обробки User-Mode Linux (uml) замість KVM (див. "МОДУЛЬ USER-MODE LINUX" in guestfs(3)). У цьому розділі наведено деякі загальні зауваження щодо цього модуля, але ми наполегливо рекомендуємо вам виміряти навантаження з UML у вашій системі, а не сліпо довірятися коментарям або інтуїції.
Самі графіки можна знайти тут: http://rwmj.wordpress.com/2013/08/14/performance-of-user-mode-linux-as-a-libguestfs-backend/#content
Скористайтеся командою /proc/cpuinfo, щоб переконатися, що апаратна віртуалізація доступна. Зауважте, що, можливо, апаратну віртуалізацію слід увімкнути у BIOS.
Усередині віртуальних машин апаратна віртуалізація зазвичай недоступна, тому, щоб ви не робили, у віртуальній машині libguestfs працюватиме повільно. Наш досвід свідчить про те, що вкладена віртуалізація працює погано, і, напевне, альтернативи запуску libguestfs у основній системі немає.
Переконайтеся, що KVM увімкнено і доступний користувачеві, який запускає libguestfs. Безпечним є встановлення прав доступу 0666 для /dev/kvm, як це робиться у більшості сучасних дистрибутивів.
Не використовуйте процесори, у яких немає апаратної віртуалізації, та процесорів, які просто дуже повільні (чудовим прикладом такого процесора є AMD Geode).
У Xen dom0 є віртуальною машиною, отже на ньому апаратна віртуалізація недоступна.
Під час циклу розробки libguestfs 1.33 ми приділяли багато часу швидкодії, зосередившись на швидкості завантаження, і додали декілька латок до libguestfs, qemu та Linux, що у певних випадках зменшило час завантаження до значень, менших за 1 секунду. Тому, ви можете спостерігати набагато швидшу роботу версій libguestfs та qemu, згаданих у заголовку розділу.
In https://github.com/libguestfs/libguestfs-analysis-tools is a program called "boot-analysis". This program is able to produce a very detailed breakdown of the boot steps (eg. qemu, BIOS, kernel, libguestfs init script), and can measure how long it takes to perform each step.
Скористайтеся програмою ts(1) (з moreutils), щоб переглянути докладну картину:
$ guestfish -a /dev/null run -v |& ts -i '%.s' 0.000022 libguestfs: launch: program=guestfish 0.000134 libguestfs: launch: version=1.29.31fedora=23,release=2.fc23,libvirt 0.000044 libguestfs: launch: backend registered: unix 0.000035 libguestfs: launch: backend registered: uml 0.000035 libguestfs: launch: backend registered: libvirt 0.000032 libguestfs: launch: backend registered: direct 0.000030 libguestfs: launch: backend=libvirt 0.000031 libguestfs: launch: tmpdir=/tmp/libguestfsw18rBQ 0.000029 libguestfs: launch: umask=0002 0.000031 libguestfs: launch: euid=1000 0.000030 libguestfs: libvirt version = 1002012 (1.2.12) [etc]
Часові позначки вказано у секундах (з нарощуванням щодо попереднього рядка).
Для отримання докладної інформації щодо часових параметрів обробки у програмах libguestfs можете скористатися SystemTap (stap(1)).
Збережіть такий скрипт із назвою time.stap:
global last;
function display_time () {
now = gettimeofday_us ();
delta = 0;
if (last > 0)
delta = now - last;
last = now;
printf ("%d (+%d):", now, delta);
}
probe begin {
last = 0;
printf ("ready\n");
}
/* Показати усі виклики статичних маркерів. */
probe process("/usr/lib*/libguestfs.so.0")
.provider("guestfs").mark("*") ? {
display_time();
printf ("\t%s %s\n", $$name, $$parms);
}
/* Показати усі виклики функцій guestfs_*. */
probe process("/usr/lib*/libguestfs.so.0")
.function("guestfs_[a-z]*") ? {
display_time();
printf ("\t%s %s\n", probefunc(), $$parms);
}
Запустіть його у одному вікні від імені користувача root:
# stap time.stap ready
Скрипт виведе рядок «ready», коли SystemTap завантажить програму. Запустіть вашу програму libguestfs, guestfish або програму засобів віртуалізації у іншому вікні. Приклад:
$ guestfish -a /dev/null run
У вікні stap ви побачити багато даних, зокрема, буде показано дані щодо часу, потрібного на виконання кожного з кроків (у форматі кількості мілісекунд у дужках). Приклад:
xxxx (+0): guestfs_create xxxx (+29): guestfs_set_pgroup g=0x17a9de0 pgroup=0x1 xxxx (+9): guestfs_add_drive_opts_argv g=0x17a9de0 [...] xxxx (+8): guestfs_int_safe_strdup g=0x17a9de0 str=0x7f8a153bed5d xxxx (+19): guestfs_int_safe_malloc g=0x17a9de0 nbytes=0x38 xxxx (+5): guestfs_int_safe_strdup g=0x17a9de0 str=0x17a9f60 xxxx (+10): guestfs_launch g=0x17a9de0 xxxx (+4): launch_start [etc]
Вам слід звернутися до початкового коду libguestfs або навіть трохи змінити його, щоб повністю розібратися у виведених даних.
Ви можете керувати BIOS або ядром базової системи за допомогою gdb. Якщо ви добре знаєтеся на процесі діагностики за допомогою gdb, це може бути корисним інструментом для виявлення і усування регресій у процесі завантаження.
По-перше, вам слід змінити qemu так, щоб програма запускалася із параметрами "-S" і "-s". Ці параметри наказують qemu призупинити процес завантаження і уможливити долучення до нього засобу діагностики. Щоб дізнатися більше, ознайомтеся із підручником щодо qemu(1). Libguestfs викликає qemu декілька разів (для сканування допоміжних виведених даних тощо). Вам потрібен лише кінцевий виклик qemu, тому скористайтеся скриптом-обгорткою, подібним до такого:
#!/bin/bash -
# Встановіть значення, яке вказуватиме на справжній виконуваний файл qemu.
qemu=/usr/bin/qemu-kvm
if [ "$1" != "-global" ]; then
# Scanning help output etc.
exec $qemu "$@"
else
# Really running qemu.
exec $qemu -S -s "$@"
fi
Далі, запустіть guestfish або інший інструмент libguestfs із обгорткою qemu (див. "ОБГОРТКИ QEMU" in guestfs(3), щоб зрозуміти, які дії виконуються):
LIBGUESTFS_HV=/шлях/до/qemu-wrapper guestfish -a /dev/null -v run
Виконання має призупинитися після запуску qemu. У іншому вікні з'єднайтеся із qemu за допомогою gdb:
$ gdb (gdb) set architecture i8086 The target architecture is assumed to be i8086 (gdb) target remote :1234 Remote debugging using :1234 0x0000fff0 in ?? () (gdb) cont
Після цього ви можете використовувати стандартні методики gdb, наприклад, натискати "^C", щоб перервати завантаження, або "bt", щоб отримати трасування стека, встановлювати точки зупину тощо. Зауважте, що після проходження BIOS і потрапляння до ядра Linux вам варто знову змінити архітектуру на 32 або 64-бітову.
Іноді регресії у швидкодії трапляються у інших програмах (наприклад, у qemu або ядрі системи), що спричиняє проблеми і у libguestfs.
In https://github.com/libguestfs/libguestfs-analysis-tools boot-benchmark/boot-benchmark-range.pl is a script which can be used to benchmark libguestfs across a range of git commits in another project to find out if any commit is causing a slowdown (or speedup).
Щоб дізнатися більше про те, як користуватися цим скриптом, зверніться до підручника:
./boot-benchmark/boot-benchmark-range.pl --man
supermin(1), guestfish(1), guestfs(3), guestfs-examples(3), guestfs-internals(1), libguestfs-make-fixed-appliance(1), stap(1), qemu(1), gdb(1), http://libguestfs.org/.
Richard W.M. Jones ("rjones at redhat dot com")
Copyright (C) 2012-2020 Red Hat Inc.
To get a list of bugs against libguestfs, use this link: https://bugzilla.redhat.com/buglist.cgi?component=libguestfs&product=Virtualization+Tools
To report a new bug against libguestfs, use this link: https://bugzilla.redhat.com/enter_bug.cgi?component=libguestfs&product=Virtualization+Tools
When reporting a bug, please supply:
| 2021-01-05 | libguestfs-1.44.0 |