'Computer Science / Neural and Evolutionary Computing' 카테고리의 모든 글
본 논문은 신경망을 훈련하는 동안 가중치 행렬이 초기화된 상태에서 크게 변하지 않는다는 것을 보여줍니다. 또한, 이 가중치의 작은 변화에도 불구하고 신경망은 여전히 빠른 수렴 속도를 유지한다는 사실을 입증합니다. 이러한 결과는 네트워크가 훈련 중에 원래 구조와 비슷하게 유지됨을 의미하며, 이를 통해 초기화된 가중치 행렬이 최적의 해에 근접하도록 훈련하는 것이 가능함을 시사합니다. ###
이 논문에서는 그래프 알고리즘 및 그래픽 분석을 신경형 컴퓨터 플랫폼의 새로운 응용 분야로 고려한다. 우리는 피크 동작(spiking) 뉴런의 비선형 동역학을 사용하여 저수준 그래프 연산을 구현하는 방법을 보여준다. 우리의 결과는 하드웨어 무관하며, 정적 시냅스를 활용하거나 시냅스 가소성(synapse plasticity)이 필요한 여러 버전의 루틴들을 제시한다.
다음 세대의 장치 내 AI는 에너지 효율적인 딥 뉴럴 네트워크를 필요로할 것으로 보입니다. 뇌에서 영감을 받은 스퍼킹 뉴럴 네트워크(SNN)가 유망한 후보로 식별되었습니다. 곱셈이 필요하지 않게 함으로써 에너지 소모를 크게 줄일 수 있습니다. 장치 내 응용 프로그램의 경우 계산뿐만 아니라 통신도 상당량의 에너지와 시간을 차지합니다. 본 논문에서는 Shenjing이라는 재구성 가능한 SNN 아키텍처를 제안하며, 이는 모든 온칩 통신을 소프트웨어에 완전히 노출시켜 높은 정확도로 낮은 전력에서 SNN 모델 매핑이 가능하게 합니다. Shenjing과 달리 TrueNorth와 같은 이전의 SNN 아키텍처는 매핑을 위해 모델 수정 및 재학습이 필요합니다. 본 논문에서는 기존 인공신경망(ANN)인 다층 퍼셉트론, 컨볼루션 뉴럴 네트워크, 그리고 최신의 잔차 신경망까지 Shenjing에 성공적으로 매핑할 수 있다는 것을 보여줍니다. 이를 통해 ANN이 SNN의 에너지 효율성을 실현합니다. MNIST 추론 문제를 다층 퍼셉트론을 사용하여 96%의 정확도로 처리하고, 10개의 Shenjing 코어만으로 1.26mW의 전력을 소모했습니다.
이 논문에서는 시신경 교차핵(Lateral Geniculate Nucleus, LGN)의 역할을 모방하는 단일 필터로 구성된 첫 번째 컨볼루션 레이어를 갖는 생물학적으로 영감받은 합성곱 신경망(CNN) 아키텍처인 LGN-CNN을 소개합니다. 신경망의 첫 번째 레이어는 네트워크 자체의 구조에서 유래한 회전 대칭 패턴을 보여주며, 이는 가우시안의 라플라시안(LoG)에 대한 근사치입니다. 이 함수는 다시 LGN 세포들의 수용 장 프로파일(RFPs)의 좋은 근사치가 됩니다. 시각 체계와의 유사성은 신경망 아키텍처에서 직접 나타납니다. 고정된 LGN-CNN 아키텍처에 대한 회전 불변성을 증명하고 계산 결과를 제시합니다. 또한, LGN-CNN의 대비 불변성 능력을 조사하며 다양한 이미지에 대한 첫 번째 레이어의 Retinex 효과와 LoG의 Retinex 효과 사이에서 비교를 제공합니다. 두 번째 컨볼루션 레이어의 필터들에 대해 생물학적 데이터에 대한 통계적인 연구가 수행되었습니다. 결론적으로, 제시된 모델은 LGN 및 V1 세포들의 RFPs에 잘 근사하며 장거리 연결의 Retinex 효과와 유사한 동작을 보입니다.
순례는 세계에서 가장 중요한 이슬람 종교 행사로, 수백만 명의 순례자들이 마카하와 메디나의 거룩한 장소를 방문하여 의식을 수행합니다. 정부 당국은 순례자들의 안전과 보안이 최우선 과제입니다. 마카하는 5000대의 카메라로 둘러싸여 순례자를 모니터링하고 있지만, 매초 수집되는 방대한 양의 이미지를 인공적으로 추적하기는 사실상 불가능합니다. 이 문제를 해결하기 위해 우리는 딥러닝과 컨볼루션 신경망을 기반으로 한 인공지능 기술을 사용하여 순례자와 그 특징을 감지하고 식별하는 방법을 제안합니다. 이를 위해 우리는 순례자의 검출 및 성별 분류를 위한 포괄적인 데이터셋을 구축했습니다. 그런 다음, YOLOv3와 Faster-RCNN을 기반으로 한 두 개의 컨볼루션 신경망을 개발하여 순례자를 감지했습니다. 실험 결과는 모든 클래스에 대한 평균 정밀도에서 Inception v2 특징 추출기로 구성된 Faster RCNN이 가장 높은 51%의 성능을 보였습니다.
![[한글 번역 중] Analysis of the $( mu/ mu_I, lambda)$-CSA-ES with Repair by Projection Applied to a Conically Constrained Problem](https://koineu.com/posts/2019/08/2019-08-12-129250-analysis_of_the____mu__mu_i__lambda___csa_es_with_/out_dynamics_projection_commaes_nd_csa_0017_p1_100_00_p2_3_16_xi_10_sigma_0_00010_c_0_05000_D_20_00000_lambda_10_mu_3_dim_00400_r2.png)
Theoretical analyses of evolution strategies are indispensable for gaining a deep understanding of their inner workings. For constrained problems, rather simple problems are of interest in the current research. This work presents a theoretical analysis of a multi-recombinative evolution strategy with cumulative step size adaptation applied to a conically constrained linear optimization problem. The state of the strategy is modeled by random variables and a stochastic iterative mapping is introduced. For the analytical treatment, fluctuations are neglected and the mean value iterative system is considered. Non-linear difference equations are derived based on one-generation progress rates. Based on that, expressions for the steady state of the mean value iterative system are derived. By comparison with real algorithm runs, it is shown that for the considered assumptions, the theoretical derivations are able to predict the dynamics and the steady state values of the real runs.
이 논문은 진화 컴퓨팅 연구 그룹의 멤버들이 수행한 연구를 기반으로 하며, 이들은 뉴질랜드 웰링턴의 비クト리아 대학교에서 활동하고 있습니다. 이 작업은 뉴질랜드 정부의 Marsden Fund을 포함하여 여러 기관으로부터 지원을 받았습니다.
본 연구는 연속 전도 모드에서 작동하는 실제 DC-DC 부커 컨버터의 간단한 그레이 박스 식별 접근 방법을 제안한다. 관찰된 동적 데이터에 대한 정보 부족 문제, 특히 상대적으로 좁은 입력 범위에서 얻어진 경우에 대해 해결하기 위해 부커 컨버터의 알려진 정적 특성을 사전 지식으로 활용한다. 후보 모델들의 정적 응답을 결정하는 간단한 방법을 개발하였고, 이 개념은 용어 클러스터의 개념을 기반으로 한다. 정적 행동에서 발생하는 오차는 구조 선택을 위한 다목적 프레임워크에 직접 통합된다. 본질적으로 제안된 접근 방식은 모델 생성의 편향-분산 딜레마를 균형 있게 조정하면서 사전 지식을 명시적으로 구조 선택 과정에 통합하는 다목적 프레임워크로 그레이 박스 식별 문제를 재구성한다. 실제 부커 컨버터의 경우를 고려한 연구 결과는 넓은 입력 범위에서 시스템의 동적 및 정적 행동을 모두 포착할 수 있는 경제적인 모델을 식별할 수 있음을 보여준다.
모든 종류의 무작위 탐색 휴리스틱 성능 분석은 급속히 발전하는 연구 분야입니다. 실행 시간과 솔루션 품질은 이러한 알고리즘의 성능을 측정하는 두 가지 주요 지표입니다. 본 논문의 초점은 이 목표에 도달하는 데 걸리는 시간이 아니라, 최적화 휴리스틱이 달성하는 솔루션 품질에 있습니다. 이것은 실행 시간 분석과 크게 구분되는 부분입니다. 우리는 이를 더욱 발전시키기 위해 새로운 분석 프레임워크인 무한 예산 분석을 도입하여 임의의 계산 단계 후에 기대되는 적합성 값을 유도하고자 합니다. 이 프레임워크는 최근에 소개된 근사 오차 분석에서 그 뿌리를 찾으며, 고정 예산 분석과 일부 유사점이 있습니다. 우리는 이 프레임워크를 간단한 변이 기반 알고리즘에 적용하고 이를 통해 로컬 및 글로벌 탐색을 모두 다룹니다. 무한 예산 분석의 경우 여러 의사 불변 함수에 대한 해석적 결과를 제공하며, 동일한 알고리즘과 함수에 대해 고정 예산 프레임워크 내에서 유도된 결과와 비교합니다. 두 가지 다른 프레임워크에서 얻은 경계와 실제 관찰 성능을 비교하기 위한 실험 결과도 있습니다. 이 연구는 고정 예산 분석보다 더 일반적인 추정을 가능하게 하는 무한 예산 분석이 동일하거나 더 나은 추정을 제공할 수 있음을 보여줍니다.
최근 연구는 생물학적 모델의 뉴런과 뇌형태 학습장치에서 시냅스 플라스틱화 동력학이 기울기 기반 학습과 호환될 수 있음을 제안하고 있습니다 (Neftci et al., 2019). 기울기 기반 학습은 데이터셋을 여러 번 반복해야 하므로 시간이 많이 걸리고, 훈련 샘플들이 독립적이고 동일한 분포를 가질 필요가 있습니다. 이는 훈련과 추론 사이에 경계가 없는 시스템에는 적합하지 않습니다. 이를 극복하는 한 가지 접근 방법은 전이 학습으로, 네트워크의 일부는 사전 훈련되고 하드웨어로 매핑되며 나머지 부분은 온라인 학습됩니다. 전이 학습은 태스크 도메인이 알려져 있으면 오프라인에서 사전 훈련을 가속화할 수 있고, 각 클래스의 일부 샘플만으로도 목표 태스크를 합리적인 정확도로 학습하는 이점이 있습니다. 여기서 우리는 Intel의 Loihi 뇌형태 연구 프로세서에서 특징이 주파수 기반 기울기 역전파를 통해 사전 훈련된 온라인 대리 기울기 소 샷 학습을 시연합니다. 실험 결과는 Loihi 칩이 작은 수의 샷으로 온라인에서 제스처를 학습하고, 일반적인 프로세서에서 시뮬레이션된 모델과 비교할 수 있는 결과를 얻음을 보여줍니다.
대형 언어 모델(LLMs)과 스파이크 구동 언어 모델(SLMs)의 성능을 개선하고, 이를 임베디드 시스템에 효과적으로 구현하기 위한 양자화 기법에 대해 논한다. 본 연구에서는 SLMs의 메모리 및 에너지 효율성을 높이기 위해 자동화된 양자화 프레임워크인 QSLM을 제안하며, 이를 통해 SLMs의 성능과 메모리 요구사항을 충족시키는 효과적인 양자화 설정을 제공한다.
Transformer 아키텍처는 자연어 처리에서 중요한 역할을 하지만, 자기 주의 메커니즘이 긴 시퀀스를 처리하는 데 복잡도 문제를 일으킵니다. 이 논문에서는 이러한 문제를 해결하기 위해 신경-글리아 원리를 활용한 재귀적 기억 증강 아스트로모픽 트랜스포머(RMAAT) 모델을 제안합니다. RMAAT는 아스트로사이트의 기능에서 영감을 받아 긴 시퀀스 처리와 계산 효율성을 향상시킵니다.
본 논문은 NP-난해 특성을 가진 조합적 및 연속 최적화 문제를 해결하기 위한 새로운 하이브리드 메타휴리스틱 옵티마이저인 Yukthi Opus (YO)를 제안한다. YO는 Markov Chain Monte Carlo(MCMC), 탐욕적 지역 검색, 재열 Simulated Annealing(SA), blacklist 메커니즘 및 다중 체인 구조를 통합하여 전역 탐색과 지역 최적화 사이의 균형을 이루며, 다양한 문제 클래스에서 계산 효율성을 유지한다. 본 논문은 Rastrigin 5D 함수와 Rosenbrock 5D 함수에 대한 실험 결과를 통해 YO의 성능을 평가하며, TSP(Traveling Salesman Problem)와 같은 실제 문제에서도 뛰어난 성과를 보여준다. ###
검색어를 입력하세요