?

Log in

No account? Create an account
dix

August 2022

S M T W T F S
 123456
78910111213
14151617181920
21222324252627
28293031   

Tags

Powered by LiveJournal.com
chem

вдруг кому пригодится

In summary, we have studied the robustness of machine
learning approaches in classifying different phases of matter.
Our discussion is mainly focused on supervised learning
based on deep neural networks, but its generalization to other
types of learning models (such as unsupervised learning or
support vector machines) and other type of phases are possible
and straightforward. Through two concrete examples,
we have demonstrated explicitly that typical phase classifiers
based on deep neural networks are extremely vulnerable to
adversarial examples. Adding a tiny amount of carefully
crafted noises or even just changing a single pixel may cause
the classifier to make erroneous predictions at a surprisingly
high confidence level. In addition, through adversarial training,
we have shown that the robustness of phase classifiers to
specific types of adversarial perturbations can be significantly
improved. Our results reveal a novel vulnerability aspect for
the growing field of machine learning phases of matter, which
would benefit future studies across condensed matter physics,
machine learning, and artificial intelligence.
https://arxiv.org/abs/1910.13453
Tags:

Comments

Хорошая идея привносить сюда полезные абстракты!
Да, я когда-то так делал.
Ну и в области космологии Сергей Попов делает, в области высоких энергий был проект, может и сейчас живёт.
это ж стихи
Точно! Попробовал прочесть в слух - очень даже.
И ведь авторы ни разу не нативе спеакеры.
Вот мне давно интересно, вроде такие вещи по изменению одного пикселя должны достаточно просто решаться дополнительным рассмотрением картинки на низком разрешени. И или учетом этой версии как части конволюции, или еще лучше, требованием чтобы мнения по рассмотрению разных разрешений примерно совпадал. Но почему не делают?
potomuchto "deep neural networks"
the entirety of the concept is to abolish your control over the black-box -- to make your own program unknowable to you -- this is "neural".
of course, you could employ heuristics like you mentioned, but it is outside the "neural" field of study.
Аналогичные уже вещи вовсю делаются. Вот например вся концепция emergents, когда сеть тренируется на некоем широком наборе примеров, потом с нее срезаются пара верхних слоев, надевются новые пустые, и заново тренируются на некоем другом наборе примеров. Та же фигня используется для машинного перевода, когда вместо кодирования слов как sparse boolean vector, сначала контекст слов анализируется и слова кодируются вектором, произведенным анализирующей сетью. Так и тут ничего не мешает натренировать несколько сетей на разные разрешения, используя их по сути как emergents, а потом нахлобучить на них сверху несколько слоев, которые сведут результат воедино.

Снижение разрешение само по себе - тоже ничего необычного на имеющемся фоне. Та же конволюция, только в профиль. Да и про человеческий глаз мы знаем, что он использует такой подход.
keyword:
нахлобучить на них сверху
Тут речь не о сетях вообще, а об их применении в специфической области, где так просто тренировочный сет не разширишь и с разрешением не поиграешь.

Ну и ещё от себя: все "успехи" машинного обучения в области науки о материалах, что я видел, основаны на очень вдумчивом выборе области применения и тщательном подборе тренировочного набора.
Ну вот, а я надеялся, что мне специалист расскажет.

Раз пишут "пиксель", значит возможность поиграть с разрешением должна быть. Ну и, кстати, batching при обучении - наверное разновидность того же самого. При нем обратная связь от элементов кучки усредняется, что аналогично усреднению при уменьшении разрешения картинки.