Итоги 2019

Итоги 2019, в этот раз по-русски

Posted by snakers41 on December 30, 2019

Итоги 2019

Давно я поставил себе правило, делать хотя бы 1 ОСМЫСЛЕННЫЙ коммит в день. И да, я не коммичу постоянно тетрадки (я стараюсь сразу выносить модули из них), в реальности было бы конечно больше, но я так и не придумал идеальный workflow с тетрадками, да зачастую тяжело сделать работу в тетрадках прямо парцеллярной

Итоги 2018, 2017.

В этот раз не хочется слишком много растекаться мыслью по древу, да и фокус этого года был гораздо более практический и приземленный. Да, и хочется написать именно этот пост по-русски, чтобы было проще выражать свои эмоции, особенно яркие (один хрен думаю 95% тех, кто возьмется читать этот пост будут знать русский). И да, если вы верите в политиков / культуру / академию, вам не нравится слово “хуй” или вы душный или скрепный чувак - лучше не читайте, только потратите время.

Короче TLDR;

  • В этом году я / мы сделали 3 - 5 (смотря как считать конечно) ML проектов, которые или пошли в продакшен или имели достаточные для этого как статистические метрики так и бизнесовые. Один я буквально 27 декабря довел уже до .yaml файла для билда, но решил уже не портить себе праздники - один хрен никто в прод катить 31 числа не будет;

  • Я нашел бизнес-партнера с которым мы делаем проекты независимо и у нас классная команда, классный “офис”, классные достижения и задачи. И что немаловажно - правильные цели, 0 инвесторов, 0 буллшита. Наверное это изменится с коммерциализацией, но хочется верить, что не изменится =) ;

  • Пока в широких кругах этого никто не оценил (а у нас нет PR департамента с бюджетом в миллион долларов для распространения буллшита), но мы в условно нулевом домене - Speech-To-Text на русском - сделали аналог Imagenet для спича и своеобразный MobileNet где-то за 4-5 месяцев. Уже опубликованное будет ниже, stay tuned для финальной крутой публикации (читайте канал). Если вы не в теме по ML - то мы как бы сделали небольшими усилиями то, что соревнующиеся друг с другом корпорации делают годами за большой бабос. И да, в России никто ничего не публикует на эту тему;

  • Канал продолжил понемногу развиваться, приближаясь к заветной точке в 3к людей, но на самом деле его как читала примерно тысяча человек так и продолжает читать. Если за оценку сверху размера именно профессионального ML коммьюнити в СНГ / среди экспатов взять размер ОДС (или канала ОДС) и убрать ботов, то на самом деле получается, что где-то есть 5-10к таких людей. И сравнивая тематические чаты в том же ОДС с нашим чатиком, осмысленность у нас пока на порядок выше. На рассылку я забил, дайджесты вписались в workflow, еще какое-то количество тысяч просмотров 1 статьи приходит с Хабра (но там люди отвыкли от авторского контента к сожалению) и медиума;

  • Я очень сильно разочаровался в людях, на всех уровнях. Одна общая характеристика прослеживается абсолютно везде - все хотят ходить по митапам / чатикам / соревам / сайтам и распространять мусор, пить смузи и тещить свое ЧСВ, говоря как все классно. Никто не хочет реально что-то делать. Пусть маленькое и уродливое, но свое и делать. Создавать. Не пережевывать выблеванное;

  • Полная анемичность властей, неусшешные блокировки телеграма и смешные проекты суверенного рунета говорят скорее, что есть еще несколько лет, пока жить станет невыносимо (моя инвестиция 2018 года чтобы обмазаться проксями окупилась, и пока не пришлось обмазываться еще глубже). Но одно абсолютно точно - все новостные сайты стало просто бессмыссленно читать. Нигде на русском (и особенно на Хабре) нет новой информации. Или скрепы, или все хорошо, или олигархи всех купили, или и так очевидные мысли или ворованный, пережеванный устаревший чужой контент. Напоминает если честно сцену из Преступлеия и Наказания, где семья Мармеладовых потратила 5 рублей на праздник, такой пир во время чумы;

  • Я не ездил в нормальный отпуск много лет. В этом году я побывал в Австралии 3 недели. Мы проехали в сумме где-то 5,000 - 7,000 км и увидели много удивительного и что самое главное настоящего, без буллшита. Ниже чуть деталей, всем советую;

AI winter is coming

Тут все отлично расписано.

Зима пришла для самой Игры Престолов, она пришла даже для Кремниевой Долины. Но пока из топовых шоу - Конь БоДжек и Рик и Морти держатся. Зима приходит вообще для всего, включая и ML, это неизбежно, всего лишь вопрос времени.

Поток говна из шланга сейчас бьет сильно как никогда (в этом году баззвордами были Трансформер и гигантские сетки для CV)- но уже чувствуется явный классический irrational exuberance - музыка уже не играет, а на стулья никто не хочет садиться. Вложили x10 бабоса в compute, а точность как была в районе 85-87% так и осталась. Внятные голоса, мол давайте сделаем все в 10 раз быстрее и компактнее без потери качества, и тогда можно будет получить лучше результат без роста compute - в меньшистве. Хм. Наверное должен пройти цикл прожигания US$100k кредитов на амазоне на каждую новую соту.

Количество бабоса, который льется в compute и достижения абстрактной соты еще растет, но явно сейчас хайп прошел, кто надо давно осел и пилит продукты (включая нас). То же самое в принципе подтверждает тот факт, что из #jobs в ОДС почти пропали интересные вакансии - сплошной Сбербанк и голимый интерпрайз. Я не то, чтобы супер следил за ними всеми, но самые большие транжиры типа DeepMind и OpenAI (да и даже тесла, камон) + самодвижущиеся повозки что-то не особо сделали какие-то осмысленные вещи вне песочницы.

Карпатый на своих выступлениях в этом году недвусмысленно говорил что-то в духе “мы достигли 99% точности на своих условных 20 тасках используя fleet learning, для деплоя надо 99.9%, когда достигнем - а хрен его знает - но я типа верю”. И да, это тесла, которая собирает edge кейсы и разметку с каждой энной своей машины на дороге. Хм. Каждый день. 100k+ машин. Бесплатная разметка (когда ты рулишь - ты размечаешь).

Но не то, чтобы все плохо, адекватные идеи и рисеч все так же развиваются в бекграунде, просто из-за мудаков жгущих бабос на костре, очень сложно слышать адекватных. Общее число годноты растет, но SNR стремительно падает. Обсуждали в нашем ламповом чатике, что по сути кроме ежедневного чтения ленты RSS на 500 подписок (или подписок на людей кто так за тебя делает) способа искать годноту нет. Ну и да, совсем годнота всегда сама тебя находит.

Из супер интересных вещей, которые мне запомнились:

  • 90% я все равно забыл, но можете почитать дайджесты (тег #digest на канале)!;

  • Все, что Mozilla делает в речи + Common Voice. Low key вещи, без пиара, но очень правильные, потому что реальные. Их кодек LPCNet. Круто то, что они это сделают, и это станет достоянием публики, а не сгорит как compute для обучения ботов для игры в Старкрафт. Обращаюсь ко всем транжирам из омерики - заебали пилить соту блядь, влейте бабос в разметку на важных для общества задачах, епт! И делайте не через анус и пиар, а делайте онтологии, разбирайтесь в предметной области, блеять!;

  • Фишули с lottery ticket гипотезой, различные деконструкции сверточных сетей - мол свертки на самом деле не такая уж и панацея. Просто смещая вход слоя + смешивая каналы можно добиться такого же эффекта как у обычной или depthwise separable свертки. Уже другой вопрос, что обычные separable сетки дают до 90% экономии и можно настроить что потерь качества не будет;

  • Sparse сетки, дистилляция, прунинг. Все ходят вокруг да около этой темы (то же семейство MobileNet - это просто по сути sparse ResNet + боттлнеки), мол можно почти в любой сетке 80-90% весов не нужны на самом деле. Но никто пока не довел такое до менйстрима. Вот эта статья вызывает некую надежду, что условный MobileNet4 будет уже sparse и нужные слои доедут до TF / PyTorch когда-то;

  • Внезапно трансформеры. Но не упоротые огромные сетки, которые потом оверфитят на микроскопические академические датасеты, а скорее появление не только открытых имплементаций от HuggingFace (конечно это весьма забавно, как они поднимают бабло инвесторов, на том, что просто берут веса гугла и перебивают код моделей, а их фреймворк это говнище и они его не юзают), но просто референсные имплементации как стандартные модули фреймворков. Никто не заметил, но в питорче таки есть трансформеры вызываемые одной строчкой. И они как часть большей сетки - неплохо конкурируют с теми же GRU / LSTM / attention. Конечно, если пробовать их standalone - сразу резко возникают вопросы количества весов (а число весов там растет как квадрат ширины сетки) и скорости и гиморности их обучения. А так, получается, что трансформер - это некий s2s в баночке для ленивых;

  • Общее развитие embedded систем. Raspberry pi дорос по мощности, чтобы его РЕАЛЬНО рассматривать как desktop replacement (моя девушка собрала комп для своих родителей, лол, им кроме браузера и ютуба ничего не надо) и для ML систем (его минус на самом деле в нестабильности и браке). Можно даже башенный кулер уже на него ставить. Платформа ZOTAC и развитие mini-ITX плат. Оказывается есть платы даже меньше, но там максимум будет PCIE 1x, хотя на инференсе наверное и этого хватит;

  • Новые железные технологии - PCIE 4.0, то, что AMD делает с рынком процессоров (по сути они демократизовали сильно многоядерные процессоры), persisntent RAM (может когда-то и RAM и не-RAM будут просто быстрой флеш-памятью. Представьте у вас 4 TB памяти и вы сами решаете какая из нее это RAM). Новое поколение под новый сокет от AMD для больших процессоров. Однослотовые карты с водой. Если все срастется, это приведет к тому, что можно будет собрать супер-компьютер на 6-8 карт в одном корпусе, и ему будет хватать и памяти и процессоров, и все это будет стоить “копейки”! Забудьте про дорогое серверное железо совсем. Остаются только кейсы когда вам нужно 100 видеокарт, но наверное в таком случае у вас уже есть и команда админов и серверная;

  • Миллард идей про STT сетки, но этому будет посвящена отдельная статья;

Канал, Сайт, Статьи и Дайджесты

Не устоял, сделал супер мега кринжовую картинку

Ну вроде очевидно, дел больше, времени на канал меньше, пишу только более достойные и вдумчивые вещи. Стабильно собираю дайджесты, забил на рассылку. Статьи пишу только по важным проектам, но сразу делаю пяр в таком ключе:

  • Адаптация или репост на Хабр (поскольку там никто не пишет адекватные комменты, пример хорошей адаптации на Хабре - когда тролли не могут доебаться ни до чего, увы и ах);
  • Репост на медиум (нас давно еще приняли в TowardsDataScience, не то чтобы достижение, но приятно). TDS дает возможность хоть как-то покрыть буржуйскую аудиторию, но они все там занимаются circle jerking-ом в твиттере, который как платформа мне вообще непонятен - SNR слишком низкий;
  • Понятно репосты на канал;
  • Из новых идей - наши последние штуки и OpenSTT кажутся достойными для журналов типа thegradient.pub и distill.pub. С первым вроде все на мази (но чет когда дело дошло до финализации публикации они отгрузились немного), со вторым пока неясно, но судя по их формату туда пойдет только OpenSTT;
Год Канал Блог (мое) Дайджесты Блог (другие)
2016 227 7

2017 1,436 51
11
2018 550 23 13 6
2019 166 5 20 3

77 674 уникальных пользователей (что бы это ни значило) с начала 2017 года читали мой блог. Это много или мало? Это сильно больше, чем я когда-либо мог бы адресовать персонально. По меркам большого буллшитового интернета - это очень мало. Но опять же, приватность это новая публичность, но у нас в роли фейс-контроля по сути выступает прокаченность / интеллект / адекватность публики. И да, контент на 95% только тематический, без хуеты в виде тревел блогов. Можно бесконечно гореть с того, что охуенные вещи непопулярны (камон, всего ~370 звезд на гитхабе для датасета в 20к часов, когда самый крупный публичный буржуйский содержит всего 1к часов!), но можно и радоваться что не нужно банить идиотов постоянно и они просто как-то автоматически или молчат или само-выпиливаются. Это чего-то да стоит.

В этом году мне уже почти не писали про рекламу на канале (она стухла в телеге в целом), но когда писали - предлагали такую хуиту, что аж смешно. Особенно смешно, когда одна и та же тухлая реклама корпоративной дрисни или говно-курсов за 150,000 рублей прокатывается по всем ML говно-каналам, сразу понятно, откуда надо отписываться =). И да, даже такие разводчики не готовы платить 50% с приеведенного клиента, предлагают какие-то бусы типа бесплатных репостов в их каналах, где одни боты =) ТруЪ каналы очень быстро умирают или автор находит работу. Я вообще из ML в телеге читаю только канал ОДС (там правда 50-75% дрисни) и just links (тут 100% актуально, но в тему мне попадает тоже процентов 25-50%). Если еще нужно - тут список моих RSS подписок. Он сильно короткий, у @just_links 500 фидов RSS, но … вы можете читать его тоже =)

Почти классическая логарифмическая кривая. Когда тебя репостит профунктор (скачок на графике выше) - это как признание пиздатости, так и признание того, что канал достиг своего верха сигмоды

По статьям - я лично в этом году писал только по важным поводам:

  • end-to-end-taxi-hailing-automation - по сути бета-версия кастомного и простого геокодера для звонков в такси (моно-сервис на питоне, я спрашивал людей, которые сделали что-то похожее, но более тяжелое, у них там от списка технологиий в глазах рябило, лол). С тех пор было еще 4 релиза, и еще некоторые фичи все еще релизятся;
  • bert-pretrain-ru - мы пробовали трансформеры по разным поводам, вывод был такой, что они хоть и моделируют гораздо более сложные вещи, чем обычные модели, но для реальных задач голый трансформер сильно долго тренируется;
  • stt-dark-forest - когда мы разобрались в STT более менее, написал такой обзор, почему же все так плохо, когда все так хорошо, это по сути затравка к более крутой и важной статье, которая на стороне журнала сейчас;
  • russian-open-stt-part1 и open-stt-release-v10 - наши релизы, посвященные OpenSTT;

Разочарование В Людях / Делать Что-то Полезное

Если вы читаете блог или канал, то наверное вы чувствуете легкий налет мизантропии, кибер-панка и отчаяния. Вот еще. В очередной раз разочаровывюсь в людях. Куда уж дальше, но дно устойчиво пробивается каждый год.

Вастрик. Мне нравятся несколько его статей. Они по духу очень правильные. Неправильно пожалуй то, что сам Вастрик являясь формошлепом, не очень-то идейный и сильно страдает потреблядством. Поэтому много рекламы и форсинга контента, качество которого никак не контроллируется. Например реклама говно-курсов в ML за 100к, где тебе рассказывают содержание публичных гайдов. И что самое грустное - я не заметил какого-то примера или сильного призыва к созиданию. Все какой-то хайп, навариться на инфо-поводе, классно жить, классно потреблядь. Я написал ему, мол, почему ты делаешь годноту, но пиаришь говно. В ответ я получил какой-то баттхерт на тему того, что надо кушать. Вообще если ты нормальный спец и ты не гонишься за баблом, то уже начинает наступать post-scarcity экономика. И не надо рекламировать говно. Ну правда. Разрабам это еще проще. Люди, живите проще! То, что он монетизирует платный чат, мне кажется каким-то нереальным днищем. Это ведь гениальный маркетинг по типу Apple - продай хомячкам, что они клевые, а потом собирай circle jerk от хомячков, которые уже купились. И неудивительно, что в таком мире не будет хейтеров!

Хабр и OpenSTT, потенциальные заказчики и партнеры. Просто почитайте комменты. Не секрет, что Хабр состоит на 70% из корпоративной дрисни и рекламы, на 29% из “переводов” чужого контента (английский хабр не взлетел, что как бы намекае) и на 1% из крутого авторского контента. И мозга местных членистоногих явно иногда не хватает на понятия, выходящие за рамки украл-выпил-в-тюрьму. Вот топ самых охуенных скрепных мнений, с которыми я сталкивался:

  • Если мы напарсили что-то в инете, мы преступники, нанесли урон кому-то (даже если цель контента совсем другая), мы должны платить за воображаемый урон или сидеть в тюрьме. Но идиоты с таким мнением, почему-то упускают, что Imagenet был сделан так же и размечен силами студентов. И все пользуются и все норм. Что еще смешно - подобная телега давно ходит между ВК и DoubleData, но создается странное впечатление, что законы вообще написаны только для отжимания бабоса богатыми людьми;

  • Технические директора стартапов из двух людей или стартапы, которые просто запустили одну паблик модель, предлагают сотрудничество: мы передаем им исходники STT бесплатно за “revenue share”, ведь это же просто и давайте делать бизнес вместе! Это или какое-то полное нубство или арт-папство уровня Остапа Бендера. А вдруг прокатит! Люди, которые предметно 5 месяцев точечно собирали данные и работали над своеим продуктом вам его просто подарят, чтобы вы его выставляли и продавали как свой (при этом АПИ, лицензирование обфусцированных моделей, какие-то варианты с поставкой софта в закрытом боксе никому не интересны - т.к. нельзя просто спиздить). Напомню, что в питоне все паблик, и качественно обфусцировать свой продукт на питоне - довольно нетривиальная задача. Способы есть, но при передаче исходников это имхо почти невозможно. Я придумал железобетонный способ, но имхо там много шагов и инструментов;

  • Мы опубликовали OpenSTT под CC-NC-BY. Читается так - коммерческое использование запрещено - если вы компания - договаривайтесь с авторами (то есть нами) - некоммерчески / для науки делайте что хотите ставя ссылку на авторов. И что самое смешное - люди настолько охуели или тупые, что они просто не читают лицензию, а они публично пишут, что коммерчески используют датасет. Это какая-то новая степень деградации. Не хочется становиться юридической фирмой, конечно, но такое уже притягивается, если есть бабос на юристов. Самое грустное, что явно доминирует такой тип “исследователей” и инвесторов в ML на рынке. Нанимают кого-то дешевого. Он (несмотря на CC лицензию) пробует завести какой-то говно академичекий фреймворк. Ничего низапускается - данные говно! И идет дальше ссать всем в уши, что все не работает. А ЛПР-ы как думали, что “яндекс эта крута”, так и думают, хотя это все не так;

  • Еще немного горит с компаний, которые вливают 10к часов разрабов на написание врапперов над 10 решениями, и потом в их экономике 50-70% костов это косты на гугл или яндекс. Зато очень пафосные речи, откровенная ебанина в маркетинговых материалах, и очень нереалистичные обещания. Это очень грустно, т.к. это все раскачивает рынок, все начинают считать, что продукт X стоит 1 доллар в месяц как в B2C, т.к. а че, все и так искаропки работает. Вот только нихуя оно искаропки кроме самых простых случаев не работает;

  • Еще один тип поцыэнтов - они охуевают с того, что мы даем им полный датасет, когда они явно работают в крупной галере / конторе с бабосом. Что смешно - компании, где даже по их заявлениям работает 10 ML-щиков, но бюджет US$10k в год. Конечно-конечно! А что, за работу надо платить? Не слышали!;

Addmeto. Понятно, что Яндекс это уже не торт, и соответственно его евангелист ну просто по дефолту не может быть честным и правильным человеком и писать что-то, что хоть как-то связано с реальностью и не противоречит политике (да и судя по частоте и контенту постов там реально не вникает в суть дела). Ну или более банально - проверять факты и сравнивать их друг с другом (как должен поступать каждый журналист, да?). Случился курьез - они написали про спич, мол все охуенно, демократизация во все поля, итд итп. У меня возгорелся пукан, т.к. они говорят что уже все заебись и мол Common Voice все покрыл (я не говорю уже про то, что Яндекс не публикует годных статей и датасетов от слова совсем). Я написал автору и спросил, почему у него такая biased подача. Он сказал, что мол он пишет в стиле “нарута эта крута”, т.к. его цель это популяризация и мол данные важнее всего. На вопрос с хуя ли тогда он пишет про русский язык и common voice (где 100 часов и датасет который НЕ ПОДХОДИТ для STT), когда есть OpenSTTс 20к часов он никак не ответил;

Популяризаторы ML. Из самых видных - понятно что индус с ютуба сразу был про аттеншн вхоринг. И да, вы сами знаете какая драма была с ним. Большое разочарование - Франсуа Шолле (отчасти из-за которого я начал заниматься в ML) - несет ахинею в твиттере и явно как-то зарос в корпоративной жизни гугла и их пузыре. Неплохой в прошлом канал 2-minute papers - постит рекламу и сильно отстает по актуальности даже от тех, на кого я подписан. Да и анализ вообще исчез. Увы. Больше я популяризаторов дельных не помню. 3Blue1Brown иногда что-то делает про ML, но там скорее visual porn на простых примерах, но он всегда на уровне, и близко не начал скатываться.

Внезапно мой пойнт - повышайте SNR, делайте свой (пусть и хуевый) контент и проекты, следуйте информационному этикету (да, я репощю Вастрика, хоть он сам этому этикету и не следует) и этому посту.

Соревнования

Как закончили spacenet-4 в начале года, так никуда и не зашли. Я присматривался к spacenet-5 и еще паре соревнований (Facebook Fake detection, OpenAI carribean roof detection) но всегда находились какие-то такие кринжовые вещи, которые сильно отталкивали:

  • Все узнали про сорев меньше месяца до конца, никого на ЛБ - явно пилят, явно будет драма, дальше не следил;
  • Kernels only, дырявые правила (сразу очевидно как абъюзить). Ну нахер дарить свою работу просто так, а потом ждать шейкапа на кривой валидации, котоая появится еще через N месяцев (читай - все сроки проебут, и появится за 3 дня до конца);
  • Кривая валидация сразу. Искать лики и подгонять под паблик - это НЕ реальная работа ML специалиста;

Вообще я не скажу, что ML-соревы мертвы, скорее они стали произаичными. Либо дырывый как решето распил с кривой валидацией, либо все для галочки (как последний SpaceNet) и освоения бюджета, либо охуевший сбор кернелов на каггле. Я так и не прочитал саммари от победителей основного конкурса Open Images, наверное там что-то может быть интересное. DS Bowl в этом году … вообще с табличками, но бабоса там конечно какое-то бесконечное для этого количество.

Собственно раньше соревы были про (i) зайти в домен (ii) прокачаться и (iii) увидеть как коммьюнити реально раздвигает лимиты. Я бы предположил, что (iii) будет нивелироваться с каждым годом все больше.

Реальные Проекты / Speech To Text

Тут на самом деле буду краток:

  • Закатили 2 - 3 модели (2 NLP - эту докатили плюс чатики, одна в CV), еще работая в профи. Другой вопрос, были ли они реально нужны бизнес-заказчикам, но это предмет отдельной спекуляции;
  • Сервис для вызова такси еще потом 4-5 его релизов;
  • Датсет OpenSTT, 3 его мажорные версии;
  • Собственно мы добежали до продового качества в STT. Почти лучшее на рынке почти на всех валидационных сетах. Декодинг - 30-40 раз на 1 ядре (у тех, сем общался и кто реально до прода дошел - где-то 3-4 раза на ядро, гы). При этом наши модели тренируются требуя где-то в 10 раз меньше ресурсов, чем пиздец из статей, и … я недавно общался с людьми на рынке - стомость деплоя у нас тоже в 10 раз ниже, хотя наша модель это наша собственная разработка, а не Kaldi. Большей деталей будет когда выйдет статья;
  • Начал работу еще над одним реальным достижимым проектом в CV, но он пока в процессе;

Рост Над Собой

Мы настолько уже свыклись с мыслью, что надо пробивать какие-то непроходимые блоки, что каждый раз, когда мы это делали, это уже перестало приносить удовольствие. Особенно грустно наблюдать за хуитой, которая пиарится, когда ты делаешь такие вещи.

Приведу только несколько примеров:

  • Разметка в спиче очень дорогая => найти способ бутстрапиться;
  • Все тренируют сетки на 8xV100 => оптимизировать все до 2 1080Ti;
  • Нужно сделать деплой минимальным ресурсом => строишь распределенную систему, где утилизация железа будет 100%, постоянно решаешь какие-то задачи на грани возможностей публичных инструментов (допустим прикручиваение батчей к RabbitMQ или параллельная работа с батчами и асинхроннронными клиентами в питоре);
  • Нет данных и gt => найти / собрать базы, сделать синтетические данные;
  • Нет ресурсов на фронт и одменов => найти способы делать что-то просто, без большого долга и нормально;

Приятные Мелочи и Удивление

В 2018 году я сделал очень простую статью под соусом “как поднять свою socks5 прокси” за 5 комманд на Ubuntu без посредников / докерфайлов для офисного чайника, у которого нет ssh ключа (а не для злобных копчунов). Суть была в простой инструкции для ламеров. И она взлетела. Народ стал писать, что все получается.

В итоге рефералки позволили по сути бесплатно похостить OpenSTT на бакете с быстрым скачиванием.

Мелочь, а как приятно. И уже не так приятно, что хабр банил эту статью и сраные маркетологи украли ее несколько раз. Если бы этого всего не было - думаю было бы раз в 5 больше рефок.

Еще такие приятные вещи - коммерческая компания под Сбером бесплатно разметила нам валидацию для OpenSTT (интересно зачем) и некий товарищ из коммьюнити помог пережать кажется версию 0.3 датасета в MP3. Неожиданно и приятно.

Австралия

Первая страна, где я побывал, и хотел бы еще побывать или там остаться. Это по сути заслуживает отдельной статьи, но я не пишу lifestle дрисню. Поэтому тезисно по пунктам:

  • Зимой там классная погода. 4-5 месяцев в году +40 и невозможно быть на улице. Холодновато спать на улице ночью, но два спальника решает вопрос;
  • Нет пауки и змеи это не проблема. Самое главное правило - аккуратно поднимать предметы, забирать все на ночь;
  • Нет, не берите RV (реальный комфорт начинается от сильно высоких ценников). Берите что-то дешевое и полноприводное (мы просрали столько топовых мест где дорога была по песку). Души и туалеты есть везде. Комфортные RV на траках тоже не стоят денег. Джип + палатка ваше все;
  • Люди реально не убили природу, реально о ней заботятся, огромное количество животных вокруг, они не боятся. Это скорее исключение, но за нами часами по лесу ходил эму (и нет, он не страус, он эму). Скорее всего его вырастили люди, и он или думал, что мы тоже эму, или жрать выпрашивал. Внезапно от него невозможно убежать или уйти. Он быстрее. Но он устает. Можно как папуас загнать его. Представьте, если бы это был казуар, то все;
  • Топ 3 - топ 5 по уровню жизни в мире. И это не маленькая камерная страна. Она огромная. Природа, продукты, образование, разнообразие - все на уровне итд итп;
  • Зональность природы. Радиальная, по расстоянию от моря, и север-юг. Безумное разнообразие всего. Рифы, рыбы, черепахи, острова, дельфины. Местным людям, жившим год в океане на судне, повезло на ночное зеленое свечение планктона с выпрыгивающми из воды дельфинами;
  • В столице очень много иммигрантов из Азии и Индии. Но вся страна - такие англичане на максималках. Мало красивых девушек. Есть неприятное движение в сторону американизации / политизации / обмазывания юристами. Но там хотя бы все угарают с nanny state, а не как в Америке;
  • Много работы в ML, активное его применение в РЕАЛЬНОЙ отрасли. Но сложно найти первую работу и типичное англо-саксонское двуличие в работе;

Планы на 2020 год

  • Сделать небольшой технолоджи пуш в OpenSTT, перейти на opus, сделать работу над ошибками, поправить самые кривые вещи, допилить спикеров;
  • Добавить еще пару тройку языков;
  • На русском сделать лучшее на рынке качество в STT;
  • Сделать 1-2 крупных проекта по внедрению своего STT;
  • Доделать TTS на 1000 голосов;