Остались ли те, кто ещё ничего не знает о «big data»? Наверное, такого человека уже не найти. За последнее время интерес к данной отрасли значительно увеличился, особенно со стороны акул в сфере IT. Крупным компаниям, занимающимся IT, постоянно приходится изобретать всё лучшие решения, которые помогли бы работать с огромными объёмами данных.
Хоть о данном вопросе уже слышали многие, но представление имеют лишь единицы. Мало, кто знает о специалистах в данной сфере и о том, чем они занимаются. Если у вас мало информации об этой сфере, но есть интерес, добро пожаловать к прочтению данного материала.
Что делает отрасль Data Science?
Data Analyst – это те сотрудники, у которых в обязанности входит обработка, анализ данных и переработка их в результаты понятные для человека. Сюда обычно относят спецов в машинном обучении, биг дата, data mining и аналитиков.
Data Scientist - эксперты в сфере аналитической обработки информации, обладающие навыками для достижения относительно сложных целей. Конечно же, чертой хорошего специалиста является любопытство, за счёт которого и удаётся находить экстраординарные способы решения задач. Очень часто они имеют математические склонности ума, хорошо владеют компьютерами и всем, что с ними связано, а также от части являются трендспоттерами.
От Data Scientist требуется наличие практических навыков и знаний, основанных на реальных проектах. Им нужно знать основные способы статистического анализа, уметь справляться с огромными базами данных, обладать способностью к нахождению закономерностей в этой информации. Одним из важнейших навыков является умение строить математические модели.
Как стать специалистом в машинном обучении и Data Science?
Существует множество уроков, книжек и материалов для изучения Data Science. Мы за самостоятельное изучение, но зачастую оно не дает нужного эффекта. Обучаясь со специалистами, вы получаете не только теорию и практику, но также поддержку со стороны лектора, новейшие материалы и реальный шанс на получение желаемой должности после обучения.
В SkillFactory предлагают освоить специализацию в три этапа. У ребят открыт набор на курс "", где под руководством опытного data scientist’а вы освоите все современные методы машинного обучения и научитесь работать с нейронными сетями.
Этот курс даст возможность перейти на следующую ступень — , где вы пройдете полный путь от аренды GPU-сервера до создания полноценной рабочей модели для компьютерного зрения, анализа естественного языка и рекомендательных систем.
А для желающих охватить сразу весь цикл обучения Data Science, начиная с изучения языка Python для анализа данных, классического машинного обучения и, наконец, перейти к нейросетям и deep learning, стартовал набор на курс "", после прохождения которого вы сможете на практике решать задачи машинного обучения и начать карьеру как Data Scientist.
Что необходимо знать?
Сфера Data Science довольно объёмная и, не будем скрывать, сложная. Поэтому к специалисту предъявляется немало требований. Ниже описаны основные знания, которыми нужно обладать.
- Визуализация массивов информации. Для лучшего понимания содержимого данных и их анализа нужно часто перерабатывать сухой текст в наглядную графику;
- Машинное обучение – это одно из направлений ИИ, в основе которого заложены математические начала и автоматизация;
- Глубокое обучение – это подвид машинного обучения, в котором применяются данные для создания моделей в сложных абстракциях;
- Определение образов является технологией, отвечающей за определение конкретных шаблонов среди всего потока данных. Часто применяется вместо машинного обучения;
- Сбор данных подразумевает получение информации в неподготовленном виде и переработка её в формат, который уже может использоваться человеком;
- Аналитика текстовых данных - анализ всей полученной информации для обнаружения закономерность и построения бизнес-идей.
В дополнение к выше перечисленному следует иметь уверенное понимание:
- Принципов статистики;
- Статических языков программирования, лучший из них Python, но также часто используется SAS и R;
- Основных баз данных: Postgres и MySQL;
- Компьютерных технологий по визуализации информации;
- Набора Hadoop и модели MapReduce.
Зарплаты
В нынешнем состоянии рынка труда, Data Scientist в Америке в среднем зарабатывают $91 тысячу, но всё зависит от опыта. Ниже приведён скриншот зависимости заработной платы от опыта.
В отечественных реалиях эта цифра намного меньше. Начинающий специалист может получать около 60-90 тысяч рублей ежемесячно. Заработок экспертов доходит до 220 тысяч рублей.
Что конкретно делают работники этой сферы?
Какие поручения выполняют специалисты в ежедневной рутине? Их жизнь постоянно связана с ограничениями, которые препятствую в реализации новых решений. Норма жизни Big Data спецов – решение методологических, технических и других проблем. Им постоянно приходится анализировать, открывать новые закономерности и строить прогнозы. Это по большей части научная сфера, в которой есть и доля творчества. Специалисты должны иметь незаурядную смекалку, которая поможет им находить решения трудных задач. Творческая нотка поможет им в удачной визуализации данных.
Для примера рассмотрим жизненную задачу Data Scientist:
«Джонатант Голдман – это специалист в сфере физики, проходящий обучение в Стэнфорде. Он получил работу в известной соцсети LinkedIn и в его обязанности входила работа, которую нельзя замерить по KPI или увидеть её наглядный результат. Работа заключалась в искоренении багов сайта и внедрении фич. Остальная часть разработчиков постоянно раздумывала о способах модернизации сайта и увеличении его пропускной способности. Голдман отвечал за разработку системы, которая бы подсказывала пользователю профиля, кто ещё на сайте может быть ему знакомым. Голдман добился того, чтобы компания попробовала внедрить данную модель. Он принёс социальной сети миллионы дополнительных просмотров, а значит – существенно ускорил её развитие».
Не существует какого-то универсального определения данной профессии, очень многое зависит от направления деятельности. Тем не менее есть те задачи, которые выполняет каждый из Data Scientist:
- Сбор огромного объёма неупорядоченных данных и их переработка в доступный для понимания формат.
- Достижение бизнес-задач, связанных с применением данных;
- Применение нескольких языков программирования;
- Постоянная работа со статистикой;
- Применение аналитических способов структурирования данных;
- Баланс между ИТ и бизнесом;
- Поиск закономерностей и создание шаблонов, выявление трендов и тенденций, что можно использовать компанией для увеличения заработка.
Полезные ссылки
В качестве бонуса тем, кто дочитал материал до конца, предлагаем несколько полезных материалов к изучению. Самый полный материал – в данной тематике. Самое крупное сообщество . Учебник по машинному обучению от Петера Флаха – один из лучших материалов в этом направлении. Книгу уже перевели на русский язык.