Спрашивает Игорь Трафимович:

Я не знаю, как оценить перспективность области. Если 99,9% преступлений в Лондоне раскрывают полицейские Скотленд-ярда, делает ли это работу Шерлока Холмса менее перспективной?

Фото Роберта Вигласки, PA

Визуализация — это сверх-мощный инструмент. Она наглядно показывает огромные объёмы данных, проявляет закономерности, которые никто не надеялся найти, сворачивает 30-страничные отчёты в одну интерактивную картину, экономит время и вычислительные ресурсы. Визуализацией, как любым инструментов, нужно уметь пользоваться, но я верю, что грамотная визуализация способна творить чудеса.

При этом визуализация, как Шерлок, решает очень узкий круг задач — запутанные дела со сложными, многомерными данными, в которых скрываются полезные для бизнеса знания. Такие задачи найдутся далеко не в каждой компании, а если и найдутся, от них необязательно зависит успех бизнеса, и даже когда зависит, лица, принимающие решения, могут не знать о том, что задачу можно решить с помощью визуализации данных. Рынок крошечный, риск остаться без работы велик.

Вот что делаем я и моя команда, чтобы чувствовать себя хорошо.

• Главное правило, занимаемся только визуализацией данных (сродни правилу балерин зарабатывать только балетом :-)
• Когда заказов нет, делаем бесплатные прототипы в рамках рубрики «Вопрос-ответ» или сами придумываем себе задачи.
• Отвечаем на вопросы в блоге.
• Выступаем на конференциях (в прошлом году был перерыв).
• Записываем видео-лекции, организуем учебные курсы.
• Рассказываем о работе всем, кто готов слушать.

Всё это, и немного везения, приводит в лабораторию клиентов мечты с самыми запутанными и интересными задачами. Чем больше задач мы решаем, тем искуснее используем визуализацию данных и тем уверенне чувствуем себя на рынке. Это единственный известный мне путь к востребованности в этой области.

Кстати, мы в Лаборатории данных ищем веб-разработчика. Вакансия открыта до 31 января.

Присылайте вопросы о визуализации данных на почту: data@datalaboratory.ru. Следующая заметка выйдет 1 февраля.

Спрашивает Жанна Гугунова из «HeadHunter»:

В статье рынок труда показан стандартными временными графиками (динамика вакансий, резюме и заработных плат) и столбиковыми диаграммами (доли рынка по профессиональным сферам) — итого около 20 иллюстраций. Каждая картинка в отдельности решает узкую задачу, но полную картину рынка за ними разглядеть сложно.

Попробуем отобразить все три параметра на одной интерактивной визуализации. Пусть по оси X будет количество вакансий, по оси Y — количество резюме, а среднюю зарплату покажем размером точки. Рынок труда в Москве в ноябре по топовым профсферам будет выглядеть так:

Масштаб по осям отличается, потому что активных резюме обычно больше, чем вакансий. Чтобы проявить эту особенность на графике, добавим лучи, соответствующие разным уровням конкуренции:

Видим, что самые активные профсферы — «Продажи» и «Начало карьеры», причём в первой конкуренция относительно низкая (3 резюме на вакансию), а во второй — высокая (более 10). Конкуренция в большинстве профсфер превышает 5 резюме на вакансию, нет ни одной профсферы ниже единицы, то есть дефицита кадров не наблюдается нигде.

По средним зарплатам с большим отрывом лидирует «Топ-менеджмент», но и конкуренция там самая большая, более 20 резюме на вакансию. Самые низкие средние зарплаты — в профсферах «Администрация» и, как ни странно, «Банки»; они даже ниже средней зарплаты в «Начале карьеры».

Добавим на график временную динамику. История одной профессиональной области будет выглядеть так:

Движении точки вдоль луча означает рост активности (и работодателей, и соискателей) в данной проф. области. Движение от луча к лучу — рост или падение конкуренции. Зарплата заметно не менялась, поэтому скроем промежуточные значения, чтобы лучше разглядеть хвост:

На графике проявилась форма, похожая на букву «s». Это сезонные рост (весна-лето) и спад (осень-зима) активности на фоне увеличения конкуренции. В «Продажах» активность в ноябре 2015 года осталась на том же уровне, что и в ноябре 2014 года, а вот конкуренция выросла с 2 до 3 резюме на вакансию.

Посмотрим на историю других профобластей:

«Айти» и «маркетинг» демонстрируют форму похожую на «продажи», но не такую симметричную. В 2014 году они делаю два витка активности (промежуточное затишье в мае), конкуренция растёт почти непрерывно, не считая небольшого спада в мае-июне 2015. «Начало карьеры» — ещё более искажённая «s» с быстрым ростом конкуренции (с 7 до 10+ резюме на вакансию) и большими «провалами» в январе и мае — во время студенческих сессий.

Посмотрим на динамику рынка в целом (гифка):

На полной картине сложнее уловить детали по отдельным профсферам, зато бросаются в глаза общие тенденции на рынке. Видно, как в 2014 году активность растёт вместе с конкуренцией, потом — резкий зимний спад, быстрый скачок конкуренции, и снова сезонный полукруг. Профсферы, как синхронные пловчихи, выписывают одни и те же фигуры, слегка отличающиеся исполнением.

Присылайте вопросы о визуализации данных на почту: data@datalaboratory.ru. При участии Кирилла Беляева, Романа Бунина и Дамира Мельникова. Спасибо Службе исследований «Headhunter» за предоставленные данные. Подписи на осях скрыты по просьбе заказчика, поведение профсфер на графике соответствует реальному положению дел.

Анонимно:

Представьте, что перед вами гигантский паззл. Вы можете сначала рассмотреть и классифицировать все кусочки, а потом приступить к сборке. Или взяться за небольшой фрагмент, собрать его, перейти к следующей тематической горстке, и так, пока «слепых пятен» почти не останется.

В работе над сложными системами я придерживаюсь второго пути: начинаю с относительно небольшой, но важной задачи, досконально разбираюсь в ней, предлагаю решение и довожу его до внедрения. Один хороший интерфейс в системе — это уже польза, а в качестве бонуса я получаю близкое знакомство с частью системы и плюс в репутацию. Чем больше таких готовых фрагментов, тем более полная картина складывается в голове, тем более сложные и комплексные задачи я готова решать. Ничего страшного, если после «вскрытия» очередного пласта какие-то из ранних решений придётся пересмотреть, к тому времени они уже принесут пользу.

Я всегда ставлю задачу самостоятельно. Обсуждаю проект с ответственными лицами, разбираюсь, задаю вопросы, после чего формулирую задачу своими словами в 2-3-4 абзаца текста. В «Нет-крекере» я периодически сталкивалась с длинными ТЗ, но мне всегда удавалось договориться о живом обсуждении и ни разу не пришлось тратить время на изучение многостраничной документации.

Во время работы над задачей я «загружаю» всю доступную информацию в мозг и даю ей «повариться», пока решение не будет готово. После этого я «выгружаю» готовый фрагмент (фиксирую решение в виде картинок с пояснениями, например, в бейскемпе) и готова приступать к следующей задаче. Пока я ищу решение, я не берусь за другие проекты, не участвую в обсуждениях и встречах, не относящихся к теме. Входящая информация по другим задачам копится в почте и ждёт своего часа.

Резюме
Не пытайтесь объять необъятное, начните с быстрых побед. Ставьте задачу сами, избегайте формальных ТЗ. Сохраняйте фокус, работайте над одной задачей в один момент времени. Фиксируйте результаты для быстрого доступа в будущем. Постепенно собирайте «большую картину» из качественно проработанных фрагментов.

Подробный рассказ о моём опыте работы со сложными системами в «Нет-крекере», 2011 год:

Присылайте вопросы на почту data@datalaboratory.ru — о визуализации данных и не только.

Спрашивает Константин Когут:

В плавно перетекающем графике потерялась важная составляющая истории: путь каждого отдельного преподавателя, доцента и профессора. Кто-то из них проработал всего несколько лет, другие посвятили университету всю жизнь, прошли путь от преподавателя до профессора и, возможно, даже заняли пост декана факультета и стали ректорами. Сейчас они выглядят безликой массой, «свалены в кучу».

Смотрите, как визуализировали похожую информацию о заключённых тюрьмы в Гуантанамо дизайнеры «13pt», выигравшие с этой работой престижный конкурс «Малофей»:

Каждый заключённый показан отдельной линией, истории персонажей подписаны прямо на графике рядом с линиями. Думаю, служители науки достойны такого же уважительного обращения :-)

Начните с того, что выделите линии жизни в общей массе:

Такое представление позволяет проследить за судьбой каждого преподавателя, видно общее количество преподавателей за год и как оно получилось: сколько ушло, сколько пришло. Легко показать превращения преподавателя в доцента и доцента в профессора (преподавателей лучше расположить на нижнем этаже графика, профессоров — на верхнем):

Сам график я советую вытянуть в ширину, чтобы избавиться от частых резких скачков и приблизиться к тафтианскому правилу «сорока пяти градусов». В освободившемся пространстве над графиком покажите лица и расскажите историю выдающихся деятелей университета:

Визуализация «количества доцентов, профессоров и преподавателей» превратилась в историю университета в лицах. Такое превращение потребует дополнительного исследования, зато изучать результат будет гораздо интереснее, особенно, если он будет интерактивным.

Присылайте вопросы о визуализации данных на почту: data@datalaboratory.ru, ответы публикуются ежемесячно.

Спрашивает Алексей Булгаков из компании «Bicotender»:

Главные особенности тендерного рынка, которые проявятся на макроуровне, — это региональность и временная динамика, в т. ч. сезонность. Мы в лаборатории уже сталкивались с похожей задачей, когда визуализировали аномалии оборота наличности. Временная диаграмма и карта, интерактивно связанные между собой, оказались удачным решением для данных такого рода. Возьмём за основу этот формат и адаптируем для тендеров.

Ключевые свойства тендера — стоимость и индустрия. Интересно узнать, какое соотношение тендеров по индустриям, как оно меняется со временем, какие индустрии преобладают в разных регионах. Обозначим индустрию цветом и покрасим регионы на карте цветом главной (по объёму закупок) индустрии, а на диаграмме покажем суммарные объёмы РФ в разбивке по индустриям:

При наведении на месяц видим главные индустрии в этом месяце по регионам; при наведении на регион — временное распределение закупок по индустриям в нём:

Фильтры по индустрии, ценовой категории и региону отсекают потенциально интересные срезы. Например, можно посмотреть только крупные строительные тендеры в Красноярском крае. В этом случае на диаграмме будет показана не только динамика, но и отдельные тендеры:

При наведении на тендер показана подробная информация о нём:

На визуализации показаны только электронные аукционы, завершённые с августа 2014 по июль 2015. Видим, что самые «жирные» индустрии — строительство, медицина, финансы. Строительство преобладает в большинстве регионов, его активность предсказуемо падает в зимние месяцы. В январе самый низкий объём завершённых тендеров по всем индустриям. Что касается регионов, лишь некоторые активно используют систему электронных аукционов: это Москва и Московская область, Санкт-Петербург, Нижний Новгород, Самара, Краснодарский и Краясноярский края, с 2015 года к ним присоединилась Волгоградская область. В других регионах электронные аукционы единичные, касаются одной-двух индустрий, их объёмы незначительны. Во многих регионах (показаны белым цветом) они вообще не проводились.

Живой прототип: https://tenders.datalaboratory.ru/

Присылайте вопросы о визуализации данных на почту: data@datalaboratory.ru, ответы публикуются ежемесячно. При участии Дамира Мельникова.