Tensör İşleme Birimi (TPU) Nedir? Nasıl Çalışır?

Grafik işleme birimi (GPU), makine öğrenimindeki merkezi işleme birimine (CPU) göre daha hızlıdır. Bu nedenle, 2016 yılında Google tarafından derin öğrenme görevlerini hızlandırmak için Tensor Processing Unit (TPU) geliştirildi. Türkçedeki karşılığı, Tensör İşleme birimi olan bu özel çip, Google Arama, Google Fotoğraflar, Google Çeviri ve Google Haritalar gibi uygulamalara güç vermesi için geliştirildi.

Google’ın tensör işleme birimlerine TPU ve Cloud TPU olmak üzere iki biçimde erişilir. Edge TPU, belirli uygulamalarda kullanılan özel olarak üretilmiş bir geliştirme kitidir. Cloud TPU’lara Google’ın Colab dizüstü bilgisayarından erişilir, Google’ın veri merkezlerinde oturan tüketicilere TPU bölmeleri verir. Tensör İşleme Birimi (TPU), Google tarafından TensorFlow yazılımı ile sinir ağı işlemlerini yürütmek üzere tasarlanmıştır. Tensör işleme üniteleri, esas olarak küçük gibi işleme elemanları ile belirli makine öğrenme iş yüklerini hızlandırmak için kullanılan ASIC’lerdir. TensorFlow gibi açık kaynaklı bir platform, nesnelerin algılanmasında, görüntülerin sınıflandırılmasında, konuşma tanıma, dil modelleme vb. makine öğrenimi için kullanılır.

Tensör İşleme Birimi (TPU), ASIC makine öğrenimi için özel olarak üretilmiş ve çok fazla katmanın kullanımını azaltırken NN (sinir ağları) için maksimum hızlarda eklemelerin yanı sıra büyük çarpmaları işlemek için özelleştirilmiş güç sağlar. Tensör İşleme Birimi (TPU) esas olarak üç adım yürütür.

• TPU’nun ilk adımında, bellekten gelen parametreler toplayıcılar ve çarpanlar matrisine yüklenir.
• İkinci adımda, veriler bellekten yüklenir.
• Üçüncü adımdaki her çarpma işleminden sonra, sonuçlar benzer bir zamanda toplama yapılırken bir sonraki çarpanlara aktarılır. Bundan sonra çıktı, veri ve parametrelerle sonuçlanan tüm çarpmaların toplamı olarak sağlanır.

Tipik bir bulut tensör işlem birimi, tek bir işlemci içinde 16 bit kayan nokta değerleri için 32.768 ALU ile 128 x 128 boyutunda iki sistolik dizi içerir. Sistolik dizi mimarisi oluşturmak için büyük bir fiziksel operatör matrisi yapmak için yüzlerce toplayıcı ve çarpan doğrudan birbirine bağlanır.

Tensör İşleme Birimi (TPU), çipin hesaplama doğruluğunu azaltmak için daha liberal olmasına izin verir, bu da transistörlerin, her işlem için daha azına ihtiyaç duyduğu anlamına gelir. Bu özellik nedeniyle, tek bir çip her saniye için oldukça fazla işlem gerçekleştirir. Eğitim ve matris çarpımlarını hızlandırmak gibi farklı işlemleri işlemek için özel olarak üretildiği için diğer iş yüklerini işlemek için uygun değildir.

Tensör İşleme Birimi (TPU) Avantajları

• Artan hesaplama hızı ve verimlilik gibi birçok avantaj sunar.
  TPU, makine öğrenimi uygulamalarında en sık kullanılan doğrusal cebir hesaplama performansını artırır.
• Büyük ve zor makine öğrenimi modellerini eğitirken doğruluk süresini azaltır.
• Herhangi bir kod yazmadan çok sayıda makinede hesaplamaları ölçeklendirmenizi sağlar.
• TPU’nun mevcut sürümleri modelleri birkaç saat içinde eğitebilir.
• Güç tüketimi her işlem için son derece düşüktür. Bu nedenle bir tensör işleme ünitesinin kullanım durumları için son derece verimli olmasını sağlar.
• GPU’lara kıyasla daha büyük girişleri destekleyen son derece yüksek belleğe sahiptir.

Tensör İşleme Birimi (TPU) Dezavantajları

• TPU, CPU ve GPU’lara kıyasla çok pahalıdır.
• TPU, sadece tensör akışını desteklemektedir.
• Belirli tensör akış işlemleri, C++ içinde yazılan müşteri işlemleri gibi desteklenmez.
• TPU, GPU gibi çeşitli işlemleri desteklemez.
• TPU hesaplamaları tam olarak bir GPU ve CPU gibi değildir.
• Sadece Linux ile uyumludur. Edge TPU belirli bir Debian türevi işletim sistemi ile uyumludur.

Tensör İşleme Birimi (TPU) Kullanım Alanları

• Google’ın ASIC benzeri tensör işleme birimleri, makine öğrenimi (machine learning) için kullanılır.
• Özellikle karmaşık matris ve vektör işlemlerini çözme amacıyla, derin öğrenme için kullanılır.
• TPU, matris ve vektör işlemlerini ultra yüksek hızlarda çözmek için etkilidir. Ancak talimatları sağlamak ve uygulamak için bir CPU ile bağlanmaları gerekir.
• Tensör İşleme Birimi (TPU), e-ticaret, sahtekarlık tespiti, kendi kendine giden arabalar, doğal dil işleme (NLP), tarım, vokal AI, hisse senedi ticareti, sanal asistanlar ve çeşitli sosyal tahminler için kullanılabilir.