Каждый год, на девятое мая все мы лезем в наши фото-архивы и заново просматриваем чёрно-белые фотографии наших дедушек, бабушек, прадедушек и так далее. Многие знают про сервис на сайте MyHeritage, где можно раскрасить фотографию с помощью нейросети. Беда только в том, что бесплатно можно обработать ограниченное количество фотографий и к тому же сервис ставит свой значок на фото.
Мало кто знает, что эта нейросеть есть в открытом доступе, еще меньше людей знают, что её достаточно легко запустить с помощью сервиса Google Colab. Автор сети даже сделал несколько «колабов» и ссылки на них есть на странице проекта.

Я собрал свой «колаб», где постарался все сделать максимально удобно. Всё что потребуется, это нажимать последовательно кнопки. Их всего три. Для запуска нужно иметь учетную запись в google.

DeOldify Google Colab

Вот как выглядит процесс.

Если что-то пошло не так, то можно пройти в меню:
Среда выполнения -> Сбросить среду выполнения

Для получения наилучшего результата имеет смысл старую чёрно-белую фотографию привести в порядок в каком-нибудь фото-редакторе.

Нейросеть умеет распознавать лица. Процесс прост — сравниваем две фотографии и она говорит с какой долей вероятности на обоих фотографиях один и тот же человек.

1

Я проверил на своих фотографиях. Две фото в фас распознало отлично:

2

Сравнение фотографий одна из которых со смещенным ракурсом уже не сработало, не помогла даже фуражка:

3

Самое интересное, что для процесса сравнения можно использовать разные предобученные модели от всяких крутых контор типа Google и Facebook: VGG-Face , Google FaceNet, OpenFace, Facebook DeepFace, DeepID, ArcFace, Dlib.
Автор даже сделал обзор и тесты на все эти модели. Самая лучшая оказалась Facenet от Facebook. Но и она не смогла справиться с моим фото в ракурсе.

4

Прикольная штука. DeepFace может в режиме реального времени отслеживать эмоции.
Распознает сносно, но нужен мощный компьютер, видео на моем маке с i5 под капотом тормозит. Думаю, что любая более-менее мощная видеокарта это дело поправит.

5

Ещё она умеет определять пол, расу и возраст. На некоторых фотографиях мне нейросеть нагадала 48 лет. Я обиделся на нее окончательно.

Еремин Л.В. Оцифровка и реставрация звука: методические указания для практических занятий.
Учебное пособие. — СПб.: Ф-т филологии и искусств СПбГУ, 2007

Руководство уже устарело в плане того, что здесь разбирается обработка в программе Adobe Audition версии 2.0. Эта версия была выпущена в 2002 году, почти 20 лет назад (!). В самом же руководстве тема реставрации звука дана не в самой доходчивой форме и на мой взгляд неполно. Для понимания текста требуется предварительная подготовка. Но, из положительных моментов можно сказать, что довольно детально разобраны несколько фильтров, которые применяются и сейчас. В тексте есть различные определения каких-либо явлений. Интересные факты полезные для понимания природы звука в целом.

Этот текст написан для того, что бы его отправлять в случае необходимости в качестве ответа на очередной призыв спасать фольклор.
Вдохновил меня на это Сергей Николаевич Старостин, а идея была позаимствована у хорошего аналогичного текста непривет . Ознакомьтесь на досуге и с ним тоже. Не помешает.

Итак, периодически в интернете всплывает очередной призыв к спасению фольклора. Как правило содержание призыва сводится к тому, что нужно спасать архивы, нужно их оцифровывать, выкладывать в интернет и вообще что-то делать. Гибнет культура русского народа и всё в таком духе. Последний прочитанный мной призыв был подкреплен тремя фотографиями автора в разных позах. Для чего это было сделано мне неясно, но к спасению фольклора отношение имело явно весьма посредственное.

Делать что-то надо. Есть проблема, точнее две проблемы.
1) Пропадает культурное наследие
2) Сильное беспокойство по этому поводу (фрустрация)

Вывод напрашивается сам собой, надо идти и спасать и тем самым избавляться от неприятного чувства.
И с этим я как раз могу помочь. У Центра русского фольклора есть что спасать.
Перечень требующихся работ примерно таков:
Есть несколько тысяч единиц разных носителей Фольклорной комиссии, которые не были вывезены в Пушкинский дом и достались на хранение Центру русского фольклора. На сегодняшний день все носители получили свой регистрационный номер.

Так выглядит коробка с  бобиной и на ней новый регистрационный номер

Все эти носители и их реестры отсняты на фотоаппарат и выложены в облако.
Задача первая — прочесть надписи на фотографиях и занести эти данные в exel файл вместе с присвоенным номером.

Папки с фотографиями носителей в облаке

Задача вторая — оцифровать эти носители. Часть из них не имеет опознавательных знаков вообще, поэтому в процессе оцифровки нужно прослушать запись и в случае если собиратель продиктовал, что и где он записывает так же внести эти данные в exel файл.

Записи ФК не единственные нуждающиеся в оцифровке. Я привел их лишь для примера.
И на этом работа с материалом не закончится, так как его нужно будет далее заносить в банк данных и описывать уже досконально.
Итак, теперь вы знаете что делать.
К сожалению, мой опыт работы в архиве показывает, что благородного порыва хватает на один — два дня работы. Но, как результат, человек наконец-то избавляется от гложущего его беспокойства по поводу гибнущего наследия. Архивотерапия работает безотказно.
Если вас не устраивает такой оффлайн способ, то у меня есть и удаленный способ.
Спасибо covid-19, он научил нас работать в онлайне!
Для этого я могу вам рассказать о краудфандинге у фольклористов. Бусти, Патреон и прочее в наличии. Пара сотен рублей отправленных на благое дело резко снимают острые приступы беспокойства.
Терапия абсолютно безвредна. Привыкания нет, синдрома отмены тоже.

Рабочая копия

В конце концов наступает момент, когда кассеты оцифровали, файлы собрали на один диск и нужна рабочая копия архива, для детальной описи и возможно публикации. На первый взгляд, технических сложностей нет, но, если архив занимает 1-5 терабайт несжатого звука в сложной и неоднородной структуре папок, то о копировании речь уже не идет. Описывать архив лучше на сжатом звуке, а стоимость жестких дисков не настолько еще мала, что бы этим можно было пренебречь.

Перед тем как сжать наш архив, полную копию все-таки придется сделать, но если нет для этого диска достаточного объема, то копировать и сжимать нужно по частям. Главное, что бы это делалось на копии, рекомендую сделать как минимум одну полную копию записей, в идеале же две копии и оригинал, хранить не в одном и том же здании.

Закон о сохранении информации

Сохранность информации прямо пропорциональна количеству копий данной информации.

Конвертация

Есть много программ конвертеров для аудио в том числе и бесплатных и в принципе для нашей задачи может подойти и простой Freemake или Avidemux конвертер, но поскольку мы имеем дело с большим объемом данных, то имеет смысл подумать о более надежном и гибком варианте.
Требования такие: возможность ведения лога конвертации (для того, что бы в случае ошибки можно было понять где произошла поломка и почему), максимальная поддержка существующих форматов и максимальная производительность.
Из бесплатных лучшим выбором будет консольный конвертер ffmpeg.
Он может быть собран из исходников с поддержкой вычислений на GPU
видео карт, что существенно повысит скорость конвертации.

Конвертер распространяется по лицензии GNU GPL, то есть бесплатен. Проект был образован в 2000 году, имеет активное обширное сообщество поддержки и может быть скомпилирован под различные платформы (Windows, Linux, MacOS и так далее). Для ffmpeg существует большое количество графических оболочек облегчающих работу новичкам, но они нас не интересуют, поскольку вся работа у нас производится в консоли.

Операционная система в которой мы конвертируем — Linux, в теории все то же самое можно проделать и в Windows, но это может оказаться нетривиальной задачей и в итоге возможно проще будет запустить Linux Live CD, что бы сделать конвертацию.
В консоли используем встроенную в Linux утилиту find , которая умеет искать файлы как по названию, так и по другим критериям (дата создания, размер, тип файла и прочее). Главной особенностью find является способность программы производить требуемое действие над найденным объектом.
В нашем случае, это будет передача wav файл на конвертацию программе ffmpeg. Вот команда которая запустит конвертацию архива в формат ogg

find ./ -type f -name '*.wav' -execdir ffmpeg -i {} -acodec libvorbis {}.ogg \; 1>>log.txt 2>>err.txt

Дословно команда делает следующее:

• find ./ -type f -name ’*.wav’ — найти в текущем каталоге тип объекта — файл, имя объекта любое которое оканчивается на .wav
• -execdir ffmpeg -i {} -acodec libvorbis {}.ogg \; — выполнить в текущей директории команду ffmpeg которой передаются следующие аргументы: -i {} имя найденного объекта, -acodec libvorbis применить к нему кодек libvorbis (ogg),
  и сохранить его как {}.ogg \; — найденное имя файла с добавлением
  расширения .ogg (файл будет сохраняться как audiofile.wav.ogg , конечно можно убрать лишние буквы wav в имени файла, но это может усложнит синтаксис и ухудшит понимание команды для тех, кто никогда не имел дела с консолью Linux).
• 1>> log.txt 2>>error.txt — отправить весь вывод выполняемой команды в текстовый файл log.txt, а ошибки в error.txt. Оба файла будут сохранены в той директории откуда была запущена команда find.

Процесс сжатия архива в 2ТБ занимает около суток без применения вычислений на GPU, на процессоре Intel i7, в случае если процесс прошел без каких-либо критических ошибок, мы можем запустить команду удаления всех wav файлов.

find ./ -type f -name '*.wav' -execdir rm -f {} \;

rm -f {} — удалить (сокращение от remove) найденный файл.

В итоге из архива размером в 2ТБ мы получаем примерно 80ГБ.
Это не предел, поскольку при сжатии мы использовали настройки кодека по умолчанию, можно добиться более существенного сокращения объема если снизить битрейт и перевести записи в моно.