Как сэкономить 10 миллионов при размещении рабочих мест пользователей в облаке.

У нас есть большое количество пользователей, которым по различным причинам необходимы административные права на своём рабочем компьютере. И это является жесточайшей головной болью IT отдела. Рабочие места в основном стандартные: 1С, офис, браузер, почтовый клиент и некоторый специфичный софт (из-за которого и приходиться давать админ права).
После очередной массовой перезаливки компьютеров возник вопрос: доколе администраторы будут терпеть такое издевательство над своей нервной системой? Посидели, подумали, прикинули возможности персонала, финансовые возможности компании, риски, писки пользователей и решили перенести рабочие станции пользователей в виртуальные машины. А что? Удобно. Сделал снапшот, пользователь накосячил – восстановил из снапшота. Ляпота.

Первый вариант. Ставим виртуальную машину прямо на компьютер пользователя.

Да, это можно сделать. Ставим основной ОС Linux. Зачем покупать ещё одну лицензию Windows? Пользователю Linux не нужны права админа. У него на рабочем столе две иконки: браузер и клиент виртуальной машины. Сама виртуалка запускается как сервис при старте системы.
Вроде нормально, удаленно подключился к машинке, поигрался с снапшотами, все довольны.
Но есть большая проблема: для этой схемы нужно адекватное железо. А у многих наших пользователей стоит дешманский вариант железа. Есть даже машины с XP. Там родная ОС еле ворочается, а уж если её засунуть в виртуалку – всё сдохнет.
Покупать адекватное железо? Тут финансовый отдел мозг вынесет.

Второй вариант. Облако.

Размещать свои машины в облачных сервисах Амазон, Гугл и прочее – не наш метод. Есть множество причин, почему нам это не подходит. Поэтому надо делать свое облако.
Большой плюс: у пользователей можно оставить старое железо с Linux и двумя иконками. Лицензия Windows в большинстве случаев коробочная (так исторически сложилось), поэтому её можно без проблем перенести в виртуалки. Для новых пользователей в качестве рабочих станций можно покупать хоть Расбери ПиАй :).
Минус: надо покупать новые сервера и софт для управления всем этим хозяйством.
Второе решение нам понравилось больше.

Поиск технологии.

В качестве технологии выбрали модное ныне направление гиперконвергентной (во слово то какое выдумали!) виртуализации. У гипер есть много плюсов, расписывать их не буду.
Первоначально рассматривали решение Nutanix, поскольку оно вылазит во всех запросам по поводу гипер, да и после того, как постепенно вникли в тему – прониклись идеями Nutanix. Опять же, судя по блогам и твиттеру Nutanix новым клиентам предоставляет вкусные скидки, дает попробовать оборудование. У них есть решения для мелкого бизнеса. В общем – ляпота. (Забегая вперед скажу – все это маркетинговая шелуха.)
В итоге пришли к такой постановке задачи:
  •         Нужна система с начальной емкостью 50 виртуальных машин по 2 ядра процессора и 4-6 гигов RAM на гостевую систему.
  •         Система будет наращиваться по 10 рабочих машин.
  •         Живая миграция не нужна (но приветствуется).
  •         Лицензии нужно купить сразу или по мере расширения, и никаких новомодных ежегодных подписок.
  •         Система должна занимать минимум места в стойке.

С таким первоначальным запросом обратились к двум официальным дилерам Nutanix: в Москве и Подмосковье.
И… мы не получили от них никакого ответа! Месяц нас кормили завтраками, а потом мы поняли, что нас просто сливают. Наш заказ слишком мелкий? Эй! Nutanix ваши дилеры портят вам бизнес и репутацию!
Тогда мы решили забить на Nutanix и их официальных дилеров и обратиться к крупному интегратору. Тут было совсем другое отношение к клиенту: ответы молниеносные, развернутые с описанием на уровне «покажи руководству – они это смогут понять». Прелестно.
Правда вместо Nutanix нам предложили решение на HPE SimpliVity. (Эй! Nutanix с вами не хотят связываться даже интеграторы). Учитывая наши задачи, мы никогда не достигнем ограничений, которые есть у SimpliVity.

Цена вопроса.

В итоге нампосчитали конфигурацию: 2 сервера SimpliVity, VMw Horizon, Windows Server Datacenter Edition, SQL Server.

Почему Windows Server? Потому что если в виртуалки засовывать Windows 10 и подключаться к ним по RDP нам ежегодно придется покупать соответствующие CAL лицензии для работы с виртуальной машиной. А так одинраз купил CAL лицензию доступа к серверу и не морочишь себе голову.
В стойке такое решение занимает 9U: 2 сервера по 3U и три коммутатора по 1U.
Первоначальные затраты 50 рабочих мест: около 10 000 000 (цены на конец 2017 года). На 200 пользователей (планка к которой мы хотели прийти в результате): 15 500 000 рублей. Без учета стоимости услуг интегратора.
Итого одно рабочее место: 75500 рублей.

И тут мы решили включить мозг!

Цена за рабочее место оказалась гораздо выше стоимости покупки новой машины для пользователя! Первоначальное вложение в систему просто огромное. С такими цифрами к начальству не пойдешь. Ну нет никакого экономического эффекта от внедрения новой технологии. Да и 10 лямов сразу никто никогда нам не даст! Это же целый 600-й мерин в дешманской комплектации! А итоговая система – это почти Майбах! И никак не получиться вливать деньги малыми порциями.
Проще потихоньку покупать новые компьютеры, потихоньку меняя парк устаревших машин. Начальству все равно, что админы загибаются и портят нервы. По его (начальства) мнению – нервы админа входят в получаемую ими заработную плату.
И тут мы решили включить мозги! Интегратор – это хорошо, но они продают выгодные им решения и я это прекрасно понимаю и никаких претензий не предъявляю. А нам надо убрать нашу головную боль так, что бы и боль прошла и начальство не напрягалось.
Первое – нам не нужно большинство фишек, которые предоставляет VMw Horizon. Значит вмваре в топку.
Второе – два мощных сервера. Они были нужны для оптимизации закупки Windows Server. Дешевле получалось купить два очень мощных сервера, чем 10 не очень мощных. Поэтому в топку пошли Windows Server и мощные сервера. Ну и заодно CAL лицензии и SQL Server.
И с чем мы остались? А ни с чем. Поэтому решили плясать от наших потребностей.

Железо.

Нам нужна система с большим количеством не очень навороченных серверов с 20-22 ядрами на борту. Из расчета – 1 сервер на 10 виртуалок. С минимум дискового пространства. Все файлы пользователей хранятся на файловом сервере.
20 серверов по 1U – это дофига места в стойке. Значит, простые сервера нам не походят.
А давайте посмотрим в сторону блейд серверов. SuperMicro: MicroBlade или SuperBlade.
Выбрали двух процессорное лезвие, корзину со встроенным коммутатором и получили вот такую табличку (напоминаю, цены на конец 2017 года).



Лезвий:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
Вм на лезвие:
10
Micro Blade
Итого:
429 556
630 556
831 556
1 032 556
1 233 556
1 434 556
1 635 556
1 836 556
2 037 556
2 238 556
2 439 556
2 640 556
2 841 556
3 042 556
шасси
228 556
Кол-во вм.:
10
20
30
40
50
60
70
80
90
100
110
120
130
140
лезвие
201 000
За вм.:
42 956
31 528
27 719
25 814
24 671
23 909
23 365
22 957
22 640
22 386
22 178
22 005
21 858
21 733
Вм на лезвие:
10
Super Blade
Итого:
450 896
665 178
879 460
1 093 742
1 308 024
1 522 306
1 736 588
1 950 870
2 165 152
2 379 434
2 593 716
2 807 998
3 022 280
3 236 562
шасси
236 614
Кол-во вм.:
10
20
30
40
50
60
70
80
90
100
110
120
130
140
лазвие
214 282
За вм.:
45 090
33 259
29 315
27 344
26 160
25 372
24 808
24 386
24 057
23 794
23 579
23 400
23 248
23 118



Итого: первоначальное вложение на железо на 10 рабочих мест: 429 556 рублей.
Дельта вложений для увеличения количества рабочих мест: 201 000 рублей.
Максимальная ёмкость 140 рабочих мест (на самом деле больше, одно лезвие может тянуть 12-14 виртуалок), итоговая цена вопроса: 3 042 556 рублей.

Цена рабочего места при полной комплектации: 21 733 рублей.

О! Это уже гуд. Эти цифры можно показывать руководству.

Софт.

Напоминаю, нам надо:
  •         По возможности быстро развернуть новое рабочее место.
  •         Снапшоты.
  •         Бекапы рабочих мест.
  •         Удобство для админов.
  •         Вируализировать простые рабочие станции обычных пользователей, без тяжелого софта.

Без всего остального можно обойтись.
Учитываю околонулевые знания Linux нашими админами, родные линуксовые системы виртуализации не подходят. Что же делать? Учить их Linux или рассмотреть что то ещё?
И тут я вспомнил про VirtualBox. Эй, не надо кидаться тухлыми яйцами. Вас бы поставить в наши условия вы бы со страху написали свой гипервизор :).
Ну а если серьезно у VirtualBox есть очень много преимуществ, учитывая наши конкретные запросы.
Во первых, бокс реализует все наши запросы кроме удобства для админов. Все равно надо по sshзаходить на сервер и в командной строке создавать машины, работать со снапшотами и делать прочие административные действия. Но это можно обойти. Как? Напишу ниже.
Во вторых, и это одно из ключевых его преимуществ! Бокс избавляет нас от покупки CAL лицензий для подключения по RDP к гостевой машине! Да, Вы будете подключаться к гостевой машине по RDP, но Вы будете подключаться не к RDP сервису, работающему в Windows, а к RDP сервису, работающему в VirtualBox. А для этого лицензии не надо.
В третьих, в виртуалке можно крутить любые версии Windows. Хоть Windows 10 Home, у Вас все равно будет к ней доступ по RDP.
В четвёртых, к этому сеансу могут одновременно подключаться и пользователь и админ. Причем они получают доступ с самого старта системы. Это позволяет сэкономить на софте типа radmin и его производных.
Ну и еще несколько приятных вещей.

Удобство администрирования.

Разумеется, данное решение не предоставляет всех удобств вмваре и другого коммерческого софта. Но имея в компании программиста (разумеется не 1С :)), Вы можете за 3 недели написать свой софт для управления фермой ВиртуалБоксов.

Во всяком случае лично мне понадобилось три недели, что бы разобраться с предоставляемым VirtualBoxjava API, что бы разобраться с JavaFX и написать софт, облегчающий работу линейным админам. Вот такой:

Всё пропало шеф.

Ну и печалька. После всех приготовлений, тестов, по не зависящим от нас обстоятельствам, внедрение системы отложили.
Вот так мы сэкономили компании 15 лямов, ничего не внедрив. А вы так можете? 🙂

VirtualBox API

Накидал на java скелет системы управления виртуальными машинами VirtualBox. Странно, но все работает 🙂  Буду потихоньку облагораживать и наращивать возможности.

Заодно воскресил в своей памяти JavaFX.

Управление питанием web камеры при помощи mikrotik

На одном нашем объекте барахлят web камеры. Очень чувствительные к питанию. Постоянно приходиться их вкл/выкл. Каждый вкл/выкл стоит 1000 р. в обслуживающей организации (объект в другом городе). Да и время уходит, пока парни из саппорта приедут и дернут шнурок питания, строители могут пару самосвалов налево вывезти :).

Камеры без поддержки POE, но питание передаётся по ethernet кабелю. Стоит блок питания необходимой мощности, POE инжектор. На стороне камеры девайс, который из кабеля берет питание и дает его на камеру.

Изначально хотели брать питание с микротика, который там стоит, но когда нам согласовали камеры, выяснилось, что мощи микротика для них не хватает. Поэтому получилась вот такая хитрая фигня.

По идее нужно вставить девайс, который по сигналу отрубает питание камеры и врубает его обратно. Реле, управляемые по Ethernet, стоят куеву тучу денег. Естественно мы их не купили.

Начали гуглить проблему и нашли записки доброго человека из lanmart: https://www.lanmart.ru/blogs/mikrotik-rb750up-remote-power-management-220v/

Он при помощи микротика с POE out управляет автомобильным реле, которое разрывает цепь 220 вольт. Вобщем наша тема!

Мы сделали точно так, но разрывали слаботочку 12 вольт. Реле поместили в корпус блока питания. Ethernet кабель маленько разрезали по середине. Все надрезы основательно изолировали. И вот итог:

На картинке второй конец кабеля воткнут в Mikrotik cAP. Свободный засовывали в управляющий микротик с POE out.

Автомобильное реле влезло в корпус блока питания. Но вот развести провода Ethernet места уже не хватило. Пришлось делать сопливую врезку:

Чуть крупнее.

Бомж комплект собран и работает.

Завтра соберем еще два таких «девайса» и поедем на объект ставить.

Thunerbird 52.3.0 & self signed certificate

Раньше оно как было?

При попытке подключиться к почтовому серверу с самоподписанным сертификатом Thunderbird ругался, предупреждал и давал возможность добавить сертификат в исключения.
Это можно было сделать как при подключении, так и при помощи менеджера сертификатов.

Сертификат можно было импортировать из локального файла (кнопка Импортировать) или подгрузить с сервера (кнопка Добавить исключение).

Но это было раньше. Вышло обновление 52.3.0 и пришел пушной зверек.

При попытке добавить исключение при подключении к серверу:

В соответствующем окне пропала кнопка Добавить исключение. И оно тупо информирует нас о том, что сертификат левый и все!

В менеджере сертификатов пропала возможность импортировать сертификат из файла. Ну просто тупо её выпилили.

А Добавить исключение показывает предыдущее окно, в котором таки нет кнопки Добавить исключение.

Таким образом, возникло ощущение, что Thunderbird решил бороться с самоподписанными сертификатами. Просто и незатейливо выпилив функционал добавления исключений в списки сертификатов.

Де%%$ы бл%#ь.

Приходиться удалять Thunderbird, ставить предыдущую версию и в ней добавлять исключения.

pjsip и Билайн

Конфиг транка для модуля pjsip и билайна.
В некоторых местах вместо sip.beeline.ru написан IP этого сервера — 195.239.174.100
Это бжжжж не спроста. Если там писать имя сервера, дальше регистрации дело не идет. Подробнее об этом в предыдущем посту.

[Bi]
type=aor
qualify_frequency=60
contact=sip:195.239.174.100:5060

[Bi]
type=auth
auth_type=userpass
password=bigpassword
username=74955555555@sip.beeline.ru

[Bi]
type=endpoint
transport=0.0.0.0-udp
context=from-pstn
disallow=all
allow=g729,ulaw,alaw,gsm,g726,g723
aors=Bi
language=ru
outbound_auth=Bi
from_domain=sip.beeline.ru
from_user=74955555555
t38_udptl=no
t38_udptl_ec=none
fax_detect=no
t38_udptl_nat=no
dtmf_mode=auto

[Bi]
type=identify
endpoint=Bi
match=195.239.174.100

[Bi]
type=registration
transport=0.0.0.0-udp
outbound_auth=Bi
retry_interval=120
max_retries=10
expiration=3600
auth_rejection_permanent=no
contact_user=74955555555
server_uri=sip:195.239.174.100:5060
client_uri=sip:74955555555@sip.beeline.ru:5060

[0.0.0.0-udp]
type=transport
protocol=udp
bind=0.0.0.0:5060
external_media_address=83.10.10.10
external_signaling_address=83.10.10.10
allow_reload=yes
local_net=192.168.1.0/24

MTT vs Beeline

Не знаю, что я делаю не так, но не могу настроить sip от Beeline. Коннект проходит, но при разговоре голос слышно только с одной стороны. Да, я знаю про особенности sip и nat 🙂 но… у конкурентов билайна все работает 🙂

Сначала пробовал на железяке: не работает.
Для проверки своей криворукости взял аккаунт у МТТ. У них все работает.
Тупо меняю в настройках sip.beeline.ru на voip.mtt.ru и… у билайна не работает, у  МТТ все летает.

Ладно, двойной NAT, все может быть. Настраиваю sip клиента на мобиле и вперед через LTE. У билайна не работает, у МТТ все пучком.

Объясняю ситуацию парням из билайна, в ответ рекомендации типа:
— отключите на роутере (микротик) модуль sip.
— вместо sip.beeline.ru пишите IP адрес.
Звиздец.

Ок, кручу астериск. У меня он на pjsip. Билайн же выпендривается, даёт логины типа 74955555555@sip.beeline.ru. Пока разобрался как в pjsip эти хитрые логины вбивать… Но вообщем зарегистрировался на сервере билайна. Регистрация проходит, а вот звонки вообще не того, не идут. Сразу после команды INVITE отваливаются, причем мой астериск им говорит, что они у нас не зарегистрированы. Единственное отличие INVITE от билайна и МТТ: у первого стоит мой внутренний IP (192.168.х.х), а у МТТ реальный IP роутера.

И что мне с этим делать?

P.S. Пока писал это пост, победил астериск. Добился соединения и звонка у билайна, но звук в одну сторону так и не ходит.
Как вы думает работает ли МТТ на астериске? Ага 🙂 без проблем, звоню, общаюсь. Бугагашеньки.

javafx RowFactory или как я красил строки таблицы.

Задача тривиальная: в зависимости от значения в наборе данных, надо красить строку зелёненким цветом.
Примеров решений задачи в инете, вагон и маленькая тележка.

Обычно рекомендуют что то типа такого:

tableView.setRowFactory((row) -> {
            return new TableRow(){
                @Override
                public void updateItem(MainTable item, boolean empty){
                    super.updateItem(item, empty);
                    if (item == null || empty) {
                        setStyle(«»);
                    } else {
                        Iterator it = tableZakaz.getItems().iterator();
                        while (it.hasNext()) {
                            Long zakazIndex = it.next().getProductIndex();
                            Long pIndex = item.getIndex();
                            if ( Objects.equals(zakazIndex, pIndex) )   {
                                setStyle(«-fx-background-color:lightgreen»);
                            } 
                        }
                    }
                }
            };
        });

И оно даже работает. Но, пока в таблице не включается скроллинг. Как только в таблице начинаешь листать страницы, с удивлением обнаруживаешь, что красятся произвольные строки, в произвольном порядке.

Решение, простое.

До вызова
super.updateItem(item, empty);
Сбросьте стили.

tableView.setRowFactory((TableView row) -> {
            return new TableRow(){
                @Override
                public void updateItem(MainTable item, boolean empty){
                    // Сначала обязательно сбрасываем стиль.
                    setStyle(«»);
                    // и только после этого вызываем метод super.updateItem
                    super.updateItem(item, empty);
                    if (item == null || empty) {
                        setStyle(«»);
                    } else {
                        Iterator it = tableZakaz.getItems().iterator();
                        while (it.hasNext()) {
                            Long zakazIndex = it.next().getProductIndex();
                            Long pIndex = item.getIndex();
                            if ( Objects.equals(zakazIndex, pIndex) )   {
                                setStyle(«-fx-background-color:lightgreen»);
                            } 
                        }
                    }
                }
            };
        });

LXC error cpio: cap_set_file

Ндя, «Всё глыбже и глыбже.» (с) не я

Собираю контейнер под FreePBX. И тут у меня вдруг не устанавливается апач из стандартных пакетов. Выдает ошибку: cpio: cap_set_file

Лечится явным прописыванием в конфиг файл контейнера параметров:
lxc.cap.drop = mac_admin mac_override
#lxc.cap.drop = setfcap
lxc.cap.drop = sys_module sys_nice sys_pacct
lxc.cap.drop = sys_rawio sys_time

Обратите внимание, что в глобальных параметрах, lxc.cap.drop = setfcap был определен. Если его не прописывать явно в конфиге, то все будет пучком.

Asterisk pjsip и Youmagic (MTT)

Взял тестовый номерок на YouMagiс. Решил через него астериск погонять. И тут выяснилось, что все примеры используют стандартный chan_sip или для FreePBX. А у меня pjsip стоит и рулю я ручками через конфиги:).
Вообщем в итоге получилось, вот так :

pjsip.conf
======================
[global]
type=global
; да, я даже freepbx заводил в виртуалке 🙂 но не понравилось
; оно мне, часть конфига спер оттуда.
user_agent=FPBX-13.0.190.19(13.14.0)
default_outbound_endpoint=dpma_endpoint
; debug не понравился. Лучше tcpdump для отладки еще 
; ничего не придумали 🙂
;debug=yes

[dpma_endpoint]
type=endpoint
context=dpma-invalid

[0.0.0.0-udp]
type=transport
protocol=udp
bind=0.0.0.0:5060
; разумеется вместо 999 надо писать реальный IP роутера,
; за которым за натом стоит астериск
external_media_address=999.999.999.999
external_signaling_address=999.999.999.999
allow_reload=yes
local_net=192.168.0.0/24

; тут определены два внутренних телефона 100 и 101
; много текста не показано

;==== YouMagic =======================
; Предположим, что МТТ дали телефон, он же логин (хотя логин 
; при регистрации можно установить любой):
; 74990000000
; и пароль: хитрыйпароль

[reg_voip.mtt.ru]
type = registration
retry_interval = 20
max_retries = 10
contact_user = 74990000000
expiration = 120
transport = 0.0.0.0-udp
outbound_auth = auth_reg_voip.mtt.ru
client_uri = sip:74990000000@voip.mtt.ru
server_uri = sip:voip.mtt.ru:5060

[auth_reg_voip.mtt.ru]
type = auth
password = хитрыйпароль
username = 74990000000

[mytrunk]
type = aor
contact = sip:74990000000@voip.mtt.ru

[mytrunk]
type = identify
endpoint = mytrunk
; это IP MTT сервера
match = 80.75.132.66

[mytrunk]
type = auth
username = 74990000000
password = хитрыйпароль
;realm = voip.mtt.ru

[mytrunk]
type = endpoint
context = from-external
transport=0.0.0.0-udp
disallow = all
allow = ulaw
allow = alaw
rtp_symmetric = yes
rewrite_contact = yes
from_user = 74990000000
from_domain=voip.mtt.ru
; МТТ не может аутентифицироваться на нашем сервере
; поэтому не включаем аутентификацию при входящих с МТТ
;auth = mytrunk
outbound_auth = mytrunk
aors = mytrunk
=======================================================

extensions.conf
=====================================================
[others]

[from-internal]
exten => 100,1,Dial(PJSIP/100,20)
exten => 100,2,VoiceMail(100,u)

exten => 101,1,Dial(PJSIP/101,20)
exten => 101,2,VoiceMail(101,u)

exten => *98,1,VoiceMailMain(${CALLERID(num)},s)

exten => _810X.,1,Busy

exten => _8XXX.,1,NoOp(«8xxx»)
exten => _8XXX.,n,Dial(PJSIP/${EXTEN}@mytrunk)
exten => _8XXX.,n,Hangup

[from-external]
exten => 74990000000,1,Dial(PJSIP/100)
exten => 74990000000,n,Hangup
=======================================================

Разумеется, мой сервер за натом. И, разумеется, в фаерволе разрешены хождение пакетов и их проброс только с сервера МТТ.

Проблема выбора.

Выбираю софт для группы IP телефонных станций. Щупаю Asterisk и FreeSWITCH .

Решил таки предложить использовать первый. Уж очень он легко и прозрачно конфигурируется 🙂 Возможно FreeSWITCH надежнее и  быстрее, но блин, руками править XML — это жестоко. А мне ведь в будущем систему отдавать в обслуживание телефонистам старой закалки 🙂 Там точно XML не пройдет.
Ну и FastAGI в мыслях держу.
З.Ы. Заодно разобрался с докером. Все думал, зачем оно мне надо, а тут «очень даже в дырочку». Сложная в установке система, при помощи докера великолепно распространяется на много машин. Мне понравилось.
З.З.Ы. lua — стоит изучать для конфигурации Asterisk? Или ну его на фиг, стандартными средствами обойтись можно?