Work

Метод адаптації глибоких нейронних мереж до апаратного забезпечення зі спеціалізованою архітектурою

Year: 2022
Type: dissertation
Abstract: Таран В.І. Метод адаптації глибоких нейронних мереж до апаратного \nзабезпечення зі спеціалізованою архітектурою. – Кваліфікаційна наукова \nпраця на правах рукопису. \nДисертація на здобуття наукового ступеня доктора філософії за \nспеціальністю 123 – Комп’ютерна інженерія з галузі знань 12 – Інформаційні \nтехнології. – Національний Технічний Університет України «Київський \nПолітехнічний Інститут імені Ігоря Сікорського», Київ, 2022. \nДисертаційна робота присвячена розробці комплексного методу \nадаптації глибоких нейронних мереж, що дозволяє підвищити \nпродуктивність та ефективність обробки даних глибокими нейронними \nмережами на апаратному забезпеченні зі спеціалізованою архітектурою. \nВперше було розроблено комплексний метод адаптації глибоких \nнейронних мереж для спеціалізованих обчислювальних архітектур. \nРозроблено метод адаптивного ітеративного прунінгу для зменшення \nрозміру моделей нейронних мереж за рахунок поступового зменшення \nрозміру мережі шляхом видалення зайвих каналів у згорткових шарах та \nдодатковому навчанні отриманої зменшеної моделі для відновлення точності \nрозпізнавання. Відповідно до розробленого методу, гіперпараметри мережі \nадаптивно змінюються, щоб компенсувати втрати точності після кожної \nітерації прунінгу та зменшити час ітерації обробки даних. \nРозроблено метод підвищення ефективності процесу обробки даних \nнейронними мережами на спеціалізованих обчислювальних архітектурах, що \nвраховує технічні особливості обробки даних за допомогою глибоких \nнейронних мереж на спеціалізованих прискорювачах, наприклад, ітерація \nвиконання обчислень. Також цей метод дозволяє визначити параметри такі, як розмір порції даних, щоб збільшити продуктивність обробки даних за \nрахунок зменшення впливу накладних витрат ініціалізації і передачі даних. \nРозроблено метод підвищення ефективності інфраструктури для \nобробки даних за допомогою глибоких нейронних мереж за рахунок зміни \nпрограмної та апаратної складової такої, як операційна система та інтерфейси \nпідключення. Це дозволяє збільшити продуктивність та ефективність \nобробки даних за допомогою нейронних мереж на цільовій системі. \nРозроблено програмний компонент діагностики легеневих аномалій за \nданими рентген знімків для дослідження ефективності роботи \nспеціалізованого прискорювача Coral Edge TPU USB в задачах медичного \nзастосунку. В якості архітектури глибокої нейронної мережі для даної задачі \nбуло обрано ResNet50, яку було треновано на наборі даних ChestXray та \nадаптовано під спеціалізований прискорювач відповідно до розробленого \nкомплексного методу адаптації. \nПроведено аналіз результатів застосування методу адаптації глибоких \nнейронних мереж, що включає в себе адаптивний ітеративний прунінг, \nпідвищення ефективності процесу обробки даних нейронною мережею та \nпідвищення ефективності програмно-апаратної складової цільової хостсистеми. За результатами застосування розробленого методу адаптивного \nітеративного прунінгу було досягнуто прискорення 32,2 із точністю \nрозпізнавання 96,2% (10 ітерацій прунінгу). За результатами аналізу \nтехнічних особливостей роботи спеціалізованих обчислювальних архітектур \nбуло виявлено, що значні показники прискорення, при використанні TPU у \nпорівнянні з GPU, досягаються на пізніх ітераціях (>3) виконання обробки \nданих моделями глибоких нейронних мереж, коли витрати на ініціалізацію не \nвпливають на продуктивність. Даний фактор треба враховувати при \nпідвищенні ефективності процесу обробки даних нейронними мережами на \nприскорювачах зі спеціалізованою архітектурою. В результаті аналізу факторів, що впливають на продуктивність цільової інфраструктури обробки \nданих за допомогою глибоких нейронних мереж, було досягнуто значних \nрізниць в продуктивності при застосуванні різних комбінацій забезпечення \nцільової інфраструктури. При цьому, досягнуте прискорення склало 8,7. \nРозроблені методи є складовою комплексного методу адаптації \nглибоких нейронних мереж і дозволяють підготувати обрану модель \nнейронної мережі для її застосування на зазначених вище прискорювачах \nнейронних мереж зі спеціалізованою архітектурою.
Language: Ukrainian
Open Access status: green
OpenAlex ID: W7025614120
Cites: 76
Cited by:
Related to: 10