Uncompetitive wrestling: how Crossover tournaments have changed in their first year

Last Saturday, March 10, Crossover held another Moscow Hiring Tournament for the vacancy of Software Engineering Manager. It was a quite ordinary event in the series of our events, not distinguished by the topic of the vacancy - the SEM position is at the middle level in the hierarchy of our specialists, - not by the format. Many have already heard about tournaments for Crossover vacancies - and many criticize them. Moreover, they beat tournaments even not according to their passport, as an idea, but in the face - for the name itself. The combination of the words “vacancy” and “tournament” causes people to have different, more often difficult associations, and the different, sometimes, real formats of events under the general brand of tournaments disorientate and, probably, frighten away some number of potential applicants. And we agree with this criticism.



However, something will be remembered by us on March 10: we launched a “publicity booth” on it, urging all its participants from among the habrausers, who would like to express themselves at the end, to share their impressions for the Crossover blog. And today we publish them for the first time - without censorship, edits and notes.

Ab ovo


The idea of ​​the tournament as a new format for the selection of developers was born in the Crossover global creative team at the beginning of last year. Russia, in which the first tournament took place in February 2017, entered the four of the first countries in which this idea was launched first. The idea was as follows :

процесс, связанный с программированием, можно сделать интереснее, привнеся в него элементы социализации, решение нетипичных задач и поставив ограничения, рамки которых, как сжимающиеся стены мусорного отсека имперского крейсера, придают действиям динамику и стимулируют фокусировку в поиске решения.

The idea was fascinating, and the name Hiring Tournament then seemed perfectly appropriate ... (but no, the contradiction between the idea and the example is striking: the tournament implies everyone’s struggle for personal success, and in the trash compartment the team of Solo and Skywalkers received just the lesson of survival thanks to teamwork - approx. picky geek).

Nevertheless, the essence of the new format: a set of qualification tests packaged in a competition between applicants - the name of the tournament represented well. The strengths of this idea were instant feedback in the form of a standings and motivation for sports excitement and lively competition, as an alternative to having to pore over faceless tests.

Come back next week


But the purpose of the events remained the same: not just tournaments, but hiring tournaments - that is, not just an adrenaline rush, but the selection of the best candidates; and even the new format has not abolished the need to evaluate professional skills of participants as accurately as possible.

In order to ensure a higher level of testing, it was necessary to add “creative” tasks to tournaments in which the calculation of “points” in them is not amenable to algorithmization (before connecting to the AI ​​verification, at least), and therefore require manual processing. But when even the smallest offline events attract dozens of participants, and 700 people were simultaneously recruited in online tournaments, the inability to meet the assessment of all answers within the framework of the tournament day is almost guaranteed.

Тру стори: помимо ограниченных по чисто физическим причинам оффлайн-мероприятий, мы активно проводим и онлайн-турниры. По некоторым субботам на app.crossover.com проходит до 20 и более (!) онлайн-турниров по самым разным позициям, победители которых размещаются на внутреннем маркетплейсе с последующим трудоустройством. В одну из таких суббот к нам и случился невероятной мощи наплыв участников из Индии, разогнав численность до таких чисел, когда не грех и припомнить, кто на самом деле придумал арабские цифры — и положив наш ресурс с заданиями, разумеется. Но зато команда поддержки сайта перешла с HighLoad-практиками на «ты» — к приёму в обозримом будущем новых многомиллионных поколений разработчиков, выросших уже с планшетами под пузом мы готовы.

Delayed announcement of the results reduces the dynamics of the event; the motivation of users to give everything up "here and now" falls when they know that the result will be next week.

Only the rational desire to gain enough points to go to the next stage and be on the Crossover marketplace remains in effect. But this is already far from the ideology of tournament motivation - as if Han Solo, instead of a shootout, sits down against Jabba in chess.

NO STRESS


Even slowed down by a delayed debriefing up to lethargic dynamics, the tournament still contains the most important factor in distorting the results of any objective assessment of abilities: stress. The very secret weapon, which was supposed to accelerate the creativity of the selection participants to Jedi speeds according to the original idea of ​​the tournament authors, is a no less powerful braking mechanism for many people. This is already a factor affecting the efficiency of selection at times.

Therefore, the current tournament regulations for Crossover are very liberal:

  • by default, four to six hours (depending on the position) of continuous work are allotted for test tasks,
  • although no one forbids to surrender everything in two hours and "drive off into the sunset",
  • or you can simply continue working on a task from home in the environment of the same app.crossover.com . But already in its atmosphere.

The main thing is to finish on time, keeping within a single deadline until 11am Sunday in Moscow.

Because the tournament is voluntary, and an objective assessment of the applicant is mandatory.

It is easy to see that all this finally erodes the action component of Hiring Tournaments - at least as closed not only in space but also in time of the event. But at the same time, this does not leave a stone unturned from the existing notions of Crossover tournaments as the “Royal Battle” for developers.

The first Crossover tournaments were biathlon: the participant ran in races with others, but at the same time everyone had to get to their goal. Today's Crossover tournaments are high jumps, where everyone only has a goal: the bar he chose for himself to overcome.

Translation difficulties


But it’s joyful to throw the word tournament out of the name, renaming itself to some Hiring Events, a couple of circumstances prevent us. For example, Crossover is an international company with a dozen key markets, developers in the literal sense from all over more than 130 countries in the world and certain regulations, including common cross-cutting names of applied practices. And the reform initiated “from below” in such a situation can become a completely global (company-wide) problem.

And we really don’t want to say goodbye to the gaming component of our tournaments - it would not be too modern in the era of universal gamification of processes to return to the format of a simple exam to increase their efficiency. Now we are working on the gamification of tasks not to the detriment of their indicativeness for evaluating the skills of tournament participants, i.e. candidates for the vacancy announced by its topic.

However, we do not reject the idea of ​​rebranding our format - however , we do not yet see a suitable, universal enough definition for the gamified selection testing process, which would not bring even more confusion than the current “tournament”.

Well, for dating


The current format of the Crossover tournament is most reminiscent of an open day with career counseling tests. The tournament itself is preceded by a kind of mitap, which includes acquaintance with Crossover, the team, the position, people already working on it and their experience.

The live questions of “what is SEM and what is it eaten” were dealt with by the current Software Engineering Managers Pavel Gorbel and Aleksey Zolotarev, and Svyatoslav SlavaKulakov Kulakov connected via Skype to talk from the position of VP of Engineering from a screen height of two meters from the floor about the internal kitchen of employment at Crossover as a whole - and, of course, to work out a mandatory program on questions for his biographical post .



The results of the tournament itself have long been summed up: from 22 applicants for SEM positions to the "market place", i.e. According to the results of March 10, two participants got inside the window of candidates recommended by Crossover, and one more - in the process of consideration.

And now, finally, the promised habra-reviews of the survivors arrived tournament participants. The first of them, at the request of the user himself, we post incognito, so as not to create problems for him at his current place of work. He promised to respond in the comments from the account. NotSmartEnough :

Привет, Habr.

Если ты читаешь это, значит Crossover, и правда, опубликовали отзыв живого участника Moscow Hiring Tournament. ;)

Я посетил мероприятие скорее ради интереса, чем из практической необходимости в поиске работы. Изначально, наткнувшись на рекламный пост в VK, был настроен скептически — уж больно красиво (и подозрительно) всё звучит. Но, чем больше узнаю о компании, тем более привлекательной выглядит их идеология и возможность поучаствовать в их развитии. Рекомендую всем посмотреть ролик их CEO — порядком проясняет ситуацию.

Что понравилось в самом мероприятии:
— Отличная организация. Выбрали приличное место, печеньки и кофе были вкусными. Удобство для участников обеспечили максимальное: простая и понятная регистрация, (более-менее) нормальный Wi-Fi, места и розеток всем хватило с запасом, возможность заполнять анкеты как сидя за столом, так и в удобных креслах в холле.
— За собственные тайминги вступительной части выбивались существенно, но дискомфорта это не вызывало — не мусолили скучные презентации, а отвечали на конкретные вопросы, интересовавшие участников. (Владимиру отдельное спасибо за умелое и деликатное управление дискуссией.)
— Собравшаяся публика была довольно разношёрстной, но при этом приятной в общении. Всем, с кем мне пришлось взаимодействовать, были более чем адекватны.
— За обедом дали возможность пообщаться с живыми сотрудниками компании (без надзора). Парни высказывали честно и плюсы, и минусы. Вокруг активно кучковались участники мероприятия. Я узнал довольно много о том, как всё реально устроено. Супер-полезная практика. Все компании, которым нечего стесняться, должны устраивать такие сессии общения для потенциальных кандидатов!

Что не понравилось:
— Заявленная в приглашении продолжительность мероприятия (~5 часов) — это миф. Суммарно, на мероприятии плюс вечером из дома, на осмысленное заполнение всего необходимого я потратил больше 9 часов. Да, можно уехать домой, и продолжать уже оттуда. Но если заранее озвучить реальный объем работ, можно адекватнее спланировать свой день. Хоть, это и отпугнуло бы часть кандидатов.
— Содержание вопросов подразумевает наличие экспертизы в code review, чего не сказано ни в описании вакансии, ни в приглашении, и что категорически у меня в голове не стыкуется с ролью «manager». При этом сами сотрудники компании говорят, что эту практику некоторое время назад упразднили, manager занимается управлением ресурсами, а не качеством кода. Надеюсь, в отделе подбора скоро очнутся устранят этот разрыв.
— Сам сайт, на котором происходит тестирование, явно требует реконструкции. По крайней мере, некоторые его части. Удобство перехода между стадиями оставляет желать лучшего, а дизайн секции технических вопросов выглядит нарисованным лет 10 назад. Контора по разработке с 3000+ сотрудников точно может лучше!

Вообще, от меня респект Crossover за такой ивент. Многообразие мероприятий для разработчиков всегда вызывало у меня зависть. Это, конечно, был ни ризу не Tournament, но сама возможность оценить свои менеджерские скиллы порадовала чрезвычайно. Посмотрим, что о моих скиллах думает компетентная комиссия. :D

Всё написанное выше — субъективно. Подробный отзыв про мероприятие пишу впервые, поэтому прошу сильно не ругать. Мой ник попросил скрыть из соображений конфиденциальности, поэтому на дополнительные вопросы не отвечу — только почитаю их в комментариях.

User Review ansaril3 :

Участвовал в очном турнире Crossover на позицию Software Engineering Manager по специализации Java. Были задания на знание английского, гибких методологий agile и Java, пришлось даже немного попрограммировать. Будьте готовы к тому, что вопросов много и их решение утомляет (в какой-то степени схоже с медицинским экзаменом USMLE), но сама схема тестового отсева, на мой взгляд, вполне логична.

The third and so far the last review we received from EmilMusayev :

Когда впервые услышал о турнаменте все казалось слишком сложным и непонятным, однако решил прийти и попробовать. Реальность превзошла все ожидания!

Встретили приятные люди, и в потрясающей атмосфере дружелюбности и удобство рассказали о Crossover. Презентация и общение с сотрудниками Crossover произвели на меня исключительно приятное впечатление. Формат и условия работы для людей предпочитающих мобильность просто великолепные.

Хочу особенно отметить безупречную организацию, открытость турнамента. Чувствовал себя как дома, уходить не хотелось.

Эмиль Мусаев, Project Manager, BP

Thank you very much for your feedback!

Big and long projects like Crossover tournaments are a living organism that is in constant variability. We are constantly working on its development - the quality of the site and infrastructure, the study of tasks, and the involvement of participants. And we monitor what happens: including when it turns out that increasing the segment of acquaintance with the project, exchanging experience with the team and just the number of breaks for a snack, we go beyond timing. Next time we will take this into account :-) No reviews are wasted. While we are solving the main problem - we find people jobs, and companies - staff, then all this is worth it.

And on April 7th we will see what we learned this time.

PS If any of the habrausers have any impressions from the earlier Crossover events, then send them to us at habrahabr@crossover.com - we will definitely read them the same way and will already selectively publish them.