Бизнесите и предприятията, използващи стари версии на PostgreSQL (PG), са изправени пред предизвикателства при надграждане поне до най-новата стабилна версия от PostgreSQL 12 или PostgreSQL 13. Има много причини, поради които надграждането до най-новата версия е трябва да. Някои от основните причини за това са да се възползват от неговите критични подобрения на вградените му функционалности, актуализации на защитата, подобрения в производителността и нови реализации, полезни за управлението на база данни.
Надграждането на PostgreSQL идва с няколко предизвикателства, тъй като не е толкова лесно в сравнение с други масови бази данни. Ако се сблъскате с такъв тип проблем, не се притеснявайте. PostgreSQL не ви блокира за конкретна версия, която да използвате. В този блог ще разгледаме пример за това предизвикателство, докато имаме инсталирани TimescaleDB и PostGIS на съществуващ хост PostgreSQL 11.
Защо pg_upgrade?
pg_upgrade съществува от много дълго време като инструмент за надграждане на основни версии на PostgreSQL. Използването на този инструмент не е необходимо за незначителни надстройки на версията, което означава, че не е необходимо надграждане на текущата ви версия от 11.9 до 11.13.
Когато надграждате вашия PostgreSQL до основна версия с pg_upgrade, инструментът работи, като позволява на данните, съхранявани в PostgreSQL файлове с данни, да бъдат надстроени до по-късна основна версия на PostgreSQL. Това работи, без да е необходимо изхвърляне/презареждане на данни, което може да отнеме известно време, ако имате голям набор от данни.
Сега идва суматохата. Известно е, че PostgreSQL, особено за основните версии на версиите, има добавени нови функции, които често променят оформлението на системните таблици, но вътрешният формат за съхранение на данни рядко се променя. pg_upgrade използва този факт за извършване на бързи надстройки чрез създаване на нови системни таблици и просто повторно използване на старите файлове с потребителски данни. Ако бъдеща основна версия някога промени формата за съхранение на данни по начин, който прави стария формат на данни нечетлив, pg_upgrade няма да може да се използва за такива надстройки. (Общността ще се опита да избегне подобни ситуации.)
Някои може да сметнат pg_upgrade за опасен, особено за производствената среда. Е, този инструмент е бил широко използван другаде от QA, до dev, до производствени среди. Той има своите ограничения или предупреждения, като например известния Unicode или набори от знаци, съхранявани във вашия набор от данни. В този случай може да помислите за използването на pg_dump/pg_restore, но може да отнеме известно време, за да завършите в зависимост от това колко големи са вашите данни. За по-нови версии на PostgreSQL, като PG 14.0, можете да направите само изхвърляне/възстановяване (или експортиране/импортиране) или логическа репликация, в противен случай използвайте pg_upgrade.
За по-големи набори от данни, използването на pg_upgrade изисква да стартирате това на същия хост, който по подразбиране прилага копие на всичките ви физически файлове от вашата директория с данни. В този случай pg_upgrade поддържа опцията -k или --link, което означава, че ще използва твърди връзки, вместо да копира файлове в новия клъстер.
pg_upgrade прави всичко възможно, за да се увери, че старите и новите клъстери са двоично съвместими, например чрез проверка за съвместими настройки по време на компилиране, включително 32/64-битови двоични файлове. Също така е важно всички външни модули да са двоично съвместими, въпреки че това не може да бъде проверено от pg_upgrade.
pg_upgrade поддържа надстройки от 8.4.X и по-късно до текущата основна версия на PostgreSQL, включително моментна снимка и бета версии.
Ето ситуацията...
При тази настройка използвах ClusterControl за разгръщане на клъстер от база данни PostgreSQL 11 за един възел. Следните са тествани на Centos 7 и Ubuntu Focal (20.04.1):
$ /usr/pgsql-11/bin/postgres --version
postgres (PostgreSQL) 11.13
postgres=# \dx
List of installed extensions
Name | Version | Schema | Description
------------------------+---------+------------+-------------------------------------------------------------------
fuzzystrmatch | 1.1 | public | determine similarities and distance between strings
pg_stat_statements | 1.6 | public | track execution statistics of all SQL statements executed
plpgsql | 1.0 | pg_catalog | PL/pgSQL procedural language
postgis | 3.1.4 | public | PostGIS geometry and geography spatial types and functions
postgis_raster | 3.1.4 | public | PostGIS raster types and functions
postgis_sfcgal | 3.1.4 | public | PostGIS SFCGAL functions
postgis_tiger_geocoder | 3.1.4 | tiger | PostGIS tiger geocoder and reverse geocoder
postgis_topology | 3.1.4 | topology | PostGIS topology spatial types and functions
timescaledb | 2.3.1 | public | Enables scalable inserts and complex queries for time-series data
(9 rows)И така, получих следното,
Версия на PostgreSQL сървъра: 11.13
Версия на TimescaleDB: 2.3.1
Версия на PostGIS: 3.1.4
Ако искате да тествате това с ClusterControl, има два начина да имате TimescaleDB. Можете да разгърнете клъстер TimescaleDB или да имате PostgreSQL и да активирате приставката TimescaleDB.
Настройка за вашия PostgreSQL 13
Използването на настройката на вашия мениджър на пакети за Linux средата с вашето хранилище PostgreSQL и TimescaleDB е по-лесно. Ето стъпките за това:
Настройте необходимите хранилища
Първо, нека добавим хранилището на PostgreSQL.
За CentOS/RHEL/Oracle Linux
Трябва да се уверите, че имате правилното хранилище. За Enterprise Linux (EL) 7 можете да направите следното:
sudo yum -y install https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpmЗа друга архитектура можете да базирате тук https://download.postgresql.org/pub/repos/yum/reporpms/ и да замените поддиректорията EL-7-x86_64.
Нека добавим и хранилището на TimescaleDB.
vi /etc/yum.repos.d/timescale_timescaledb.repoСлед това добавете следното съдържание за този файл,
[timescale_timescaledb]
name=timescale_timescaledb
baseurl=https://packagecloud.io/timescale/timescaledb/el/7/\$basearch
repo_gpgcheck=1
gpgcheck=0
enabled=1
gpgkey=https://packagecloud.io/timescale/timescaledb/gpgkey
sslverify=1
sslcacert=/etc/pki/tls/certs/ca-bundle.crt
metadata_expire=300Просто заменете съответно baseurl, ако използвате версия, различна от EL 7.
За Ubuntu/Debian
Добавете PG хранилището за Ubuntu Focal:
deb http://apt.postgresql.org/pub/repos/apt/ focal-pgdg mainЗа други дистрибуции на Ubuntu/Debian, просто заменете съответно focal, който можете да намерите тук http://apt.postgresql.org/pub/repos/apt/dists/. Например заменете focal-pgdg с buster-pgdg.
Сега нека добавим хранилището за TimescaleDB,
sudo sh -c "echo 'deb [signed-by=/usr/share/keyrings/timescale.keyring] https://packagecloud.io/timescale/timescaledb/ubuntu/ $(lsb_release -c -s) main' > /etc/apt/sources.list.d/timescaledb.list"Импортирайте ключодържателя,
wget --quiet -O - https://packagecloud.io/timescale/timescaledb/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/timescale.keyringи актуализирайте списъците с пакети за надстройки за пакети, които се нуждаят от надстройка, както и нови пакети, които току-що са дошли в хранилищата.
sudo apt-get updateМожете да замените поддиректорията в URL адреса, ако използвате Debian от ubuntu.
Сега, когато имаме готово хранилище, сме готови.
Инсталирайте PostgreSQL версия 13 с TimescaleDB и PostGIS
Инсталирането на PostgreSQL 13 може да се извърши на същия хост. Първо, трябва да се уверите, че неща като порта на базата данни са уникални. С други думи, той трябва да е различен от текущия PostgreSQL 11, инсталиран на същия хост.
За CentOS/RHEL/Oracle Linux
Изпълнете командата по-долу, за да инсталирате PostgreSQL 13 и зависимите от него пакети:
yum install postgresql13.x86_64 postgresql13-server.x86_64 postgresql13-contrib.x86_64 postgresql13-libs.x86_64 След това инициализирайте клъстера на базата данни и неговата необходима колекция от бази данни, като изпълните командата по-долу:
$ /usr/pgsql-13/bin/postgresql-13-setup initdbВ този момент трябва да има две директории с данни както за PG 11, така и за PG 13:
[[email protected] ~]# ls -alth /var/lib/pgsql/* -d
drwx------. 4 postgres postgres 51 Sep 22 14:19 /var/lib/pgsql/13
drwx------. 4 postgres postgres 33 Sep 21 18:53 /var/lib/pgsql/11Сега, когато сме добри с PostgreSQL 13, нека инсталираме TimescaleDB. Трябва да се уверим, че приставката за инсталиране е същата версия на PostreSQL 11.
Обърнете внимание, че за да сте сигурни, че pg_upgrade ще работи гладко, плъгините на вашия източник и дестинация на основната версия трябва да са една и съща версия. Това е така, защото pg_upgrade ще търси определените от него библиотеки, свързани с плъгините или разширенията, които са били заредени или използвани от вашата стара или изходна версия на базата данни на вашия PostgreSQL. Можете да потвърдите това във вашия Enterprise Linux, като стартирате showduplicates или като проверите с информация, както по-долу, с dnf или yum:
$ yum --showduplicates list timescaledb_13.x86_64 timescaledb-2-postgresql-13.x86_64 timescaledb-2-oss-postgresql-13.x86_64 timescaledb-2-loader-postgresql-13.x86_64|grep '2.3.1'
Repository pgdg-common is listed more than once in the configuration
timescaledb-2-loader-postgresql-13.x86_64 2.3.1-0.el7 timescale_timescaledb
timescaledb-2-oss-postgresql-13.x86_64 2.3.1-0.el7 timescale_timescaledb
timescaledb-2-postgresql-13.x86_64 2.3.1-0.el7 timescale_timescaledbИли го потвърдете с опцията за информация:
$ yum info timescaledb-2-loader-postgresql-13-2.3.1-0.el7.x86_64 timescaledb-2-postgresql-13-2.3.1-0.el7.x86_64Сега сме готови да инсталираме пакета TimescaleDB за версията PG 13.
$ yum install timescaledb-2-loader-postgresql-13-2.3.1-0.el7.x86_64 timescaledb-2-postgresql-13-2.3.1-0.el7.x86_64След като го инсталирате, можете да опитате да стартирате инструмента timescaledb-tune, за да настроите своя конфигурационен файл postgresql.conf. Просто изпълнете командата по-долу:
$ timescaledb-tune --pg-config=/usr/pgsql-13/bin/pg_configСега нека инсталираме и пакета PostGIS за версията PG 13.
$ yum install -y postgis31_13.x86_64 За Ubuntu/Debian
Просто стартирайте:
$ apt install postgresql-client-13 postgresql-13Страхотното нещо с дистрибуциите на Ubuntu/Debian е, че има инструменти за PostgreSQL, които са много удобни за управление на вашите PostgreSQL клъстери, като pg_lsclusters, pg_ctlcluster и др.
Можете да проверите инсталираните налични клъстери.
$ pg_lsclusters
Ver Cluster Port Status Owner Data directory Log file
11 main 5432 online postgres /var/lib/postgresql/11/main log/postgresql-%Y-%m-%d_%H%M%S.log
13 main 5433 online postgres /var/lib/postgresql/13/main /var/log/postgresql/postgresql-13-main.logВ Ubuntu/Debian няма нужда да променяте порта, тъй като той ще се обработва по време на инсталационната фаза и той съответно го открива и задава по уникален начин.
Сега нека инсталираме TimescaleDB.
$ apt install timescaledb-2-loader-postgresql-13 timescaledb-2-postgresql-13По избор можете да стартирате инструмента timescaledb-tune, за да настроите своя конфигурационен файл postgresql.conf, като просто извикате инструмента по следния начин:
$ timescaledb-tuneСега сме готови да инсталираме пакета PostGIS за PG 13.
$ apt install postgresql-13-postgis-3-scripts postgresql-13-postgis-3
Прегледайте вашия postgresql.conf
Винаги е по-добре да прегледате конфигурационния си файл postgresql.conf. Във версиите на Enterprise Linux можете да намерите вашия postgresql.conf или във вашата data_directory, или в пътя на PGDATA. Докато за Ubuntu/Debian можете да го намерите в /etc/postgresql/<номер-версия>/<име-клъстер>/postgresql.conf. Уверете се, че във вашия postgresql.conf следните редове са конфигурирани правилно:
shared_preload_libraries = 'pg_stat_statements,timescaledb' # pg_stat_statements is not required but if you are using ClusterControl, make sure this is appended.
port = 5532 # make sure that the port number is unique than the old version of your PostgreSQL
listen_address = * # depends on your setup but if you need to specify the available network interfaces to its IP addresses (IPv4 or IPv6) set it accordingly.Най-добра практика е да сравните старата и новата си версия на вашите PostgreSQL конфигурационни файлове, за да се уверите, че вашият postgresql.conf е идентичен с това, което е необходимо и зададено.
Преди да продължим със следващата стъпка, ние също трябва да проверим дали вашата PostgreSQL версия 13 е заредена съответно. Уверете се, че имате най-новата версия, придобита или инсталирана на вашия хост. Стартирайте базата данни и се уверете, че тя стартира и работи правилно.
За да стартирате в EL дистрибуции, изпълнете командата по-долу:
$ sudo -iu postgres /usr/pgsql-13/bin/pg_ctl -D /var/lib/pgsql/13/data/ -o "-c config_file=/var/lib/pgsql/13/data/postgresql.conf" startили за Ubuntu/Debian изпълнете командата по-долу:
$ sudo -iu postgres /usr/lib/postgresql/13/bin/pg_ctl -D /var/lib/postgresql/13/main/ -o "-c config_file=/etc/postgresql/13/main/postgresql.conf" startили използвайте инструмента pg_ctlcluster, за да стартирате, рестартирате или спрете своя PG клъстер.
Когато сте готови, стартирайте pg_upgrade...
Преди да продължите, първо се уверете, че винаги имате готово и налично резервно копие от стария си сървър. Винаги приемайте логическото и физическото архивиране като добра практика, преди да продължите с основно надграждане.
Сега, когато сте готови, можете да стартирате pg_upgrade. На практика трябва първоначално да стартирате pg_upgrade с проверка, за да определите несъвместимостта и проблемите, преди да продължите към основната процедура на pg_upgrade. Преди да стартирате pg_upgrade, уверете се, че и PG 11, и PG 13 са изключени, докато извършвате този процес. Това просто означава, че е необходимо време за престой за този процес.
За да направите това, изпълнете следната команда с опция --check:
$ sudo -iu postgres /usr/lib/postgresql/13/bin/pg_upgrade -o "-c config_file=/etc/postgresql/11/main/postgresql.conf" --old-datadir=/var/lib/postgresql/11/main/ -O "-c config_file=/etc/postgresql/13/main/postgresql.conf" --new-datadir=/var/lib/postgresql/13/main/ --old-bindir=/usr/lib/postgresql/11/bin --new-bindir=/usr/lib/postgresql/13/bin --checkЗаменете съответно стойността --old-datadir или config_file, ако е различна от вашата настройка.
Това ще изпълни проверки за съвместимост точно като резултата по-долу:
Performing Consistency Checks
-----------------------------
Checking cluster versions ok
Checking database user is the install user ok
Checking database connection settings ok
Checking for prepared transactions ok
Checking for system-defined composite types in user tables ok
Checking for reg* data types in user tables ok
Checking for contrib/isn with bigint-passing mismatch ok
Checking for tables WITH OIDS ok
Checking for invalid "sql_identifier" user columns ok
Checking for presence of required libraries ok
Checking database user is the install user ok
Checking for prepared transactions ok
Checking for new cluster tablespace directories ok
*Clusters are compatible*Ако всички проверки сигнализират за „ок“, това означава успешна проверка и долното съобщение показва, че клъстерите са съвместими, тогава трябва да сте готови.
Накрая изпълнете командата отново без опцията --check:
$ sudo -iu postgres /usr/lib/postgresql/13/bin/pg_upgrade -o "-c config_file=/etc/postgresql/11/main/postgresql.conf" --old-datadir=/var/lib/postgresql/11/main/ -O "-c config_file=/etc/postgresql/13/main/postgresql.conf" --new-datadir=/var/lib/postgresql/13/main/ --old-bindir=/usr/lib/postgresql/11/bin --new-bindir=/usr/lib/postgresql/13/bin
Performing Consistency Checks
-----------------------------
Checking cluster versions ok
Checking database user is the install user ok
Checking database connection settings ok
Checking for prepared transactions ok
Checking for system-defined composite types in user tables ok
Checking for reg* data types in user tables ok
Checking for contrib/isn with bigint-passing mismatch ok
Checking for tables WITH OIDS ok
Checking for invalid "sql_identifier" user columns ok
Creating dump of global objects ok
Creating dump of database schemas ok
Checking for presence of required libraries ok
Checking database user is the install user ok
Checking for prepared transactions ok
Checking for new cluster tablespace directories ok
If pg_upgrade fails after this point, you must re-initdb the
new cluster before continuing.
Performing Upgrade
------------------
Analyzing all rows in the new cluster ok
Freezing all rows in the new cluster ok
Deleting files from new pg_xact ok
Copying old pg_xact to new server ok
Setting oldest XID for new cluster ok
Setting next transaction ID and epoch for new cluster ok
Deleting files from new pg_multixact/offsets ok
Copying old pg_multixact/offsets to new server ok
Deleting files from new pg_multixact/members ok
Copying old pg_multixact/members to new server ok
Setting next multixact ID and offset for new cluster ok
Resetting WAL archives ok
Setting frozenxid and minmxid counters in new cluster ok
Restoring global objects in the new cluster ok
Restoring database schemas in the new cluste ok
Copying user relation files ok
Setting next OID for new cluster ok
Sync data directory to disk ok
Creating script to analyze new cluster ok
Creating script to delete old cluster ok
Checking for extension updates notice
Your installation contains extensions that should be updated
with the ALTER EXTENSION command. The file
update_extensions.sql
when executed by psql by the database superuser will update
these extensions.
Upgrade Complete
----------------
Optimizer statistics are not transferred by pg_upgrade so,
once you start the new server, consider running:
./analyze_new_cluster.sh
Running this script will delete the old cluster's data files:
./delete_old_cluster.shВ зависимост от размера на вашия набор от данни може да отнеме малко време. В примерната команда по-горе тя копира регистрационните файлове на транзакциите, които са от физически файлове. Въпреки това, ако размерът на вашия диск е малък, тогава можете да използвате опцията -k или --link, която използва твърди връзки. Ако всичко върви добре, той трябва да ви предостави съобщения като горното, които ви уведомяват за пълно надграждане и известия за актуализиране на разширенията, които може да имате. При тази настройка върви гладко. update_extensions.sql съдържа само следното:
$ cat update_extensions.sql
\connect postgres
ALTER EXTENSION "pg_stat_statements" UPDATE;Както забелязахте, pg_upgrade извършва поредица от действия. Той анализира всички редове от изходния клъстер, копира регистрационните файлове с метаданни на транзакциите и данните за състоянието на много транзакции и останалото.
След като разберете, че всичко изглежда добре, стартирайте скрипта analy_new_cluster.sh, който ще стартира
vacuumdb --all --analyze-only.
$ sudo -iu postgres PGPORT=5433 ./analyze_new_cluster.shОбърнете внимание, че трябва да посочите порта на вашия PostgreSQL 13, така че vacuumdb да работи правилно на правилния целеви сървър.
В този случай резултатът от надстройката с активирани разширения TimescaleDB и PostGIS върви добре. След като всичко се появи в ред, уверете се, че сте стартирали сървъра и направете серия от тестове и проверки.
Тествайте процеса на надстройка
Винаги тествайте и преглеждайте процеса на надстройка. Ето няколко таблици и дефинирана от потребителя база данни, която съдържа хипертаблици и PostGIS таблици, които разчитат на използването на геометрични и географски пространствени типове и функции.
$ sudo -iu postgres psql -p5433
psql (13.4 (Ubuntu 13.4-1.pgdg20.04+1))
Type "help" for help.
postgres=# \l
List of databases
Name | Owner | Encoding | Collate | Ctype | Access privileges
-----------+----------+----------+---------+---------+-----------------------
mydb | postgres | UTF8 | C.UTF-8 | C.UTF-8 |
postgres | postgres | UTF8 | C.UTF-8 | C.UTF-8 |
template0 | postgres | UTF8 | C.UTF-8 | C.UTF-8 | =c/postgres +
| | | | | postgres=CTc/postgres
template1 | postgres | UTF8 | C.UTF-8 | C.UTF-8 | postgres=CTc/postgres+
| | | | | =c/postgres
(4 rows)
postgres=# \c mydb
You are now connected to database "mydb" as user "postgres".
mydb=# set search_path="$user",public;
SET
mydb=# \dt+
List of relations
Schema | Name | Type | Owner | Persistence | Size | Description
--------+-----------------+-------+----------+-------------+------------+-------------
public | conditions | table | postgres | permanent | 8192 bytes |
public | global_points | table | postgres | permanent | 16 kB |
public | roads | table | postgres | permanent | 16 kB |
public | sample_table | table | postgres | permanent | 8192 bytes |
public | spatial_ref_sys | table | postgres | permanent | 6968 kB |
(5 rows)Проверявам някои от моите PostGIS и хипертаблици:
mydb=# \d roads
Table "public.roads"
Column | Type | Collation | Nullable | Default
------------+----------------------+-----------+----------+---------
road_id | integer | | |
road_name | character varying | | |
roads_geom | geometry(LineString) | | |
mydb=# \d sample_table
Table "public.sample_table"
Column | Type | Collation | Nullable | Default
--------+--------------------------+-----------+----------+------------------------------------------
id | integer | | not null | nextval('sample_table_id_seq'::regclass)
time | timestamp with time zone | | not null |
name | character varying | | not null |
Indexes:
"sample_table_pkey" PRIMARY KEY, btree (id, "time")
"sample_table_time_idx" btree ("time" DESC)
Triggers:
ts_insert_blocker BEFORE INSERT ON sample_table FOR EACH ROW EXECUTE FUNCTION _timescaledb_internal.insert_blocker()
Number of child tables: 371 (Use \d+ to list them.)
mydb=# \d conditions
Table "public.conditions"
Column | Type | Collation | Nullable | Default
-------------+--------------------------+-----------+----------+---------
time | timestamp with time zone | | not null |
location | text | | not null |
location2 | character(10) | | not null |
temperature | double precision | | |
humidity | double precision | | |
Indexes:
"conditions_time_idx" btree ("time" DESC)
Triggers:
ts_insert_blocker BEFORE INSERT ON conditions FOR EACH ROW EXECUTE FUNCTION _timescaledb_internal.insert_blocker()
Number of child tables: 366 (Use \d+ to list them.)
mydb=# select count(*) from sample_table;
count
-------
2588
(1 row)
mydb=# SELECT name FROM global_points WHERE ST_DWithin(location, 'SRID=4326;POINT(-110 29)'::geography, 1000000);
name
--------
Town
Forest
(2 rows)
mydb=# SELECT n, ST_AsEWKT(ST_GeometryN(the_geom, n)) As geomewkt
mydb-# FROM (
mydb(# VALUES (ST_GeomFromEWKT('MULTIPOINT(1 2 7, 3 4 7, 5 6 7, 8 9 10)') ),
mydb(# ( ST_GeomFromEWKT('MULTICURVE(CIRCULARSTRING(2.5 2.5,4.5 2.5, 3.5 3.5), (10 11, 12 11))') )
mydb(# )As foo(the_geom)
mydb-# CROSS JOIN generate_series(1,100) n
mydb-# WHERE n <= ST_NumGeometries(the_geom);
n | geomewkt
---+-----------------------------------------
1 | POINT(1 2 7)
1 | CIRCULARSTRING(2.5 2.5,4.5 2.5,3.5 3.5)
2 | POINT(3 4 7)
2 | LINESTRING(10 11,12 11)
3 | POINT(5 6 7)
4 | POINT(8 9 10)
(6 rows)Сега всичко изглежда готово да служи като моя нов клъстер.
След като започнете нещата, можете да стартирате:
$ sudo -iu postgres ./delete_old_cluster.shУверете се, че изпълнявате само скрипта, тъй като това е много опасен скрипт, тъй като ще изтрие всички файлове в стария ви PostgreSQL клъстер.
Заключение
pg_upgrade е толкова страхотен инструмент за управление и надграждане на вашия PostgreSQL сървър на база данни. Може да обработва сложни настройки, като например с активирани разширения TimescaleDB или PostGIS. Въпреки че този инструмент идва със своите ограничения, няма спиране да го използвате, особено за вашата DBA работа и на производствени сървъри, с изключение на QA и среди за разработка.
