Original: http://www.cs.stir.ac.uk/~lss/NNIntro/InvSlides.html

Prof. Leslie Smith

Kognitív és számítástechnikai neurotudományi központ

Számítástechnika és matematika tanszék
Stirlingi Egyetem.

Utolsó nagy frissítés: október 25, 1996: kisebb frissítést április 22, 1998, és szeptember 12, 2001: linkek frissítve (ők voltak igazán elavult) szeptember 12, 2001; rögzítse a matematikai font (hála Sietse Brouwer) 2 április 2003

Ez a dokumentum egy nagyjából HTML-alapú változat, amelyet az NSYNC-i ülésen, Edinburghban, Skóciában, 1996. február 28-án tartottak meg, majd néhányszor frissítették a kapott észrevételekre.

Áttekintés:

Miért akarna valaki egy „új” számítógépet?
Mi az a neurális hálózat?

Néhány algoritmus és architektúra.

Hol alkalmazzák őket?

Milyen új alkalmazások várhatóak?

Néhány hasznos információforrás.

Néhány megjegyzést hozzáadtunk 2001. szeptember

ÚJ: kérdések és válaszok az ebből adódó bemutató

Miért akarna valaki egy „új” számítógépet?
Mik azok a (mindennapi) számítógépes rendszerek, amelyek jóak… …és nem olyan jóak?

Hol lehet neurális hálózati rendszerek segítségével?

• ahol nem tudjuk megfogalmazni egy algoritmikus megoldást.
• ahol lehet kapni sok példát a viselkedés kérünk.
• hol kell, hogy vegye ki a szerkezetet a meglévő adatokat.

Mi az a neurális hálózat?
A neurális hálózatok különböző számítási paradigmák:

• neumann gépek feldolgozása alapján/memória absztrakció emberi információfeldolgozás.
• neuronhálózatok alapuló párhuzamos architektúra állati agyat.

A neurális hálózatok egyfajta többprocesszoros számítógép rendszer

• egyszerű feldolgozó elem
• nagyfokú összekapcsolási
• egyszerű skalár üzenetek
• adaptív közötti kölcsönhatás elemei

A biológiai neuronnak akár 10 000 különböző bemenete is lehet, és a kimenetét (a rövid időtartamú tüske jelenlétét vagy hiányát) sok más neuronra is elküldheti. A neuronokat háromdimenziós mintázatba vezetik.

A valódi agy azonban nagyságrendekkel bonyolultabb, mint bármely eddig mesterséges neurális hálózat.

Példa: Egyszerű egy egység adaptív hálózat:

A hálózatnak 2 bemenete és egy kimenete van. Minden bináris. A kimenet

1 if W₀ *I₀ + W₁ * I₁ + W_b > 0

0 if W₀ *I₀ + W₁ * I₁ + W_b <= 0

Azt akarjuk, hogy tanuljon egyszerű VAGY: kimenet a 1, ha I₀ vagy I₁ 1.

Algoritmusok és architektúrák.
Az egyszerű perceptron:

A hálózat az alábbiak szerint alkalmazkodik: változtassa meg a súlyt a kívánt kimenet és a tényleges kimenet közötti különbséggel.
Egyenletként:

Δ W_i = η * (D-Y).I_i

ahol η a tanulási sebesség, D a kívánt kimenet, és Y jelentése az aktuális kimenő.

Ez az úgynevezett Perceptron tanulási szabály, és megy vissza a korai 1960-as években.

Mi ki a hálót a minták:

Mi a vonat a hálózat a következő példák. Súlyok után korszaka (kitettség teljes készlet minták)

Ezen a ponton (8) a hálózat befejezte a tanulást. Mivel (D-Y) = 0 minden minta esetén, a súlyok megszűnnek. Az egyes perceptronok korlátozottak abban, amit tanulhatnak:

Ha két bemenetünk van, akkor a döntési felület egy vonal. …És egyenlete

I₁ = (W₀/W₁).I₀ + (W_b/W₁)

Általában egyszerű hiperplán döntési felületet valósítanak meg

Ez korlátozza a rendelkezésre álló lehetséges leképezéseket.

Az egyszerű perceptronból származó fejlesztések:

A hátsó szaporodású delta szabályhálózatok (BP) (néha ismert és többrétegű perceptronok (MLP-k)) és a radiális bázisfunkciós hálózatok (RBF) egyaránt jól ismertek a Delta szabálynak az egyrétegű hálózatokhoz (maga a Perceptron tanulási szabály kifejlesztése). Mindkettő önkényes leképezéseket vagy osztályozásokat tanulhat meg. Továbbá a bemenetek (és kimenetek) valós értékekkel rendelkezhetnek

Hát-szaporított delta szabályhálózatok (BP)

a fejlesztés az egyszerű Delta szabály, amely extra rejtett rétegeket (fázisokat további bemeneti és kimeneti rétegben, nem csatlakozik külső) adunk hozzá. A hálózati topológia korlátoz, hogy elővezérlés: azaz loop-mentes – általában kapcsolatok engedélyezett a bemeneti réteg az első (és esetleg csak a) rejtett réteg; az első rejtett réteget a második, …, és az utolsó rejtett réteg a kimeneti réteg.

Tipikus BP hálózati architektúra:

A rejtett réteg megtanulja újrakódolni (vagy olyan nyilatkozat számára) a bemenetek. Több, mint egy rejtett réteget lehet használni.

Az architektúra erősebb, mint az egyrétegű hálózatok: kimutatható, hogy bármelyik térképezés megtanulható, ha két rejtett réteget (egységet) kap.

Az egységek egy kicsit bonyolultabbak, mint az eredeti perceptronban: bemeneti/kimeneti grafikonjuk

Funkcióként:

Y = 1 / (1+ exp(-k.(Σ W_in * X_in))

A grafikon a kimenetet jelzi k=0.5, 1, és 10, mivel az aktiválás -10 és 10 között változik.

BP hálózatok képzése

A súly változás szabály a fejlesztés a perceptron tanulási szabályt. Súlyok megváltoznak olyan összeggel arányos a hiba, hogy az egység alkalommal a készülék kimenete a táplálás a súlya.

Futás a hálózat áll

Előre menetben:

A kimenetek számítják, és a hiba a kimeneti egységek számított.

Visszafelé át:

A kimeneti egység hiba megváltoztatására alkalmazzuk súlyokat a kimeneti egység. Ezután a hiba a rejtett csomópontok számítjuk (a vissza-szaporító a hiba a kimeneti egység révén a súlyok), és a súlyokat a rejtett csomópontok használatával megváltoztathatjuk ezeket az értékeket.

Minden egyes tanulni kívánt adatpárhoz előremutató és visszafelé halad. Ez ismételten megismétlődik, amíg a hiba elég alacsony (vagy lemondunk).Radiális alapfunkciók Networks

A radiális bázis funkciós hálózatok szintén előremutatóak, de csak egy rejtett réteggel rendelkeznek.

Tipikus RBF-architektúra:

Mint a BP, RBF háló lehet tanulni tetszőleges leképezések: az elsődleges különbség a rejtett réteg.

RBF rejtett réteg egység egy receptív mező, amelynek központja: azaz egy adott bemeneti érték, amelyen van egy maximális output.Their kiadási farok ki a bemeneti eltávolodik ettől a ponttól.

Általában a rejtett egység funkció Gauss:

Gaussians három különböző szórással.

Az RBF hálózatok képzése.

RBF hálózatok által kiképzett

• eldöntésében, hogy hány rejtett egységek kellene
• döntésért való központok és a sharpnesses (szórás) a Gauss
• képzése fel a kimeneti réteg.

Általában a központok és az SDS döntött először megvizsgálja a vektorok a képzési adatokat. A kimeneti réteg súlyokat akkor képzett a Delta szabály. BP a legszélesebb körben alkalmazott neurális hálózat technika. RBF egyre népszerűbb.

Hálók

• képzett besorolási adatokat (mindegyik kimeneti jelentése egy osztály), majd közvetlenül felhasználhatók osztályozók az új adatokat.
• képzett (x,f(x)) pontok egy ismeretlen f függvény, majd interpolálni.

RBF megvan az az előnye, hogy lehet extra egységek központok közelében az input, amelyeket nehéz besorolni. Mind a BP és RBF is feldolgozásra kell használni az időben változó adatok: lehet vizsgálni egy ablakot az adatokra:

Az ilyen formátumú hálózatokat (véges impulzusválasz) számos alkalmazásban alkalmazták.

Vannak olyan hálózatok is, amelyek architektúrái az idősorok feldolgozására specializálódtak.

Nem felügyelt hálózatok:

Egyszerű Perceptrons, BP és RBF hálózatoknak szüksége van egy tanárra, hogy elmondja a hálózatnak, hogy mi legyen a kívánt kimenet. Ezek felügyelt hálózatok.

Egy felügyelet nélküli hálózatban a hálózat csak a bemeneteire reagálva alkalmazkodik. Az ilyen hálózatok megtanulhatják a struktúrát a bevitelükben.

A felügyelet nélküli hálók alkalmazásai

fürtözési adatok:
pontosan egy kis számú kimeneti egység érkezik a bemenetre válaszul.
az adatok dimenziójának csökkentése:
A nagy dimenziójú adatok (nagy számú bemeneti egység) alacsonyabb méretre (kis kimeneti egységekre) vannak tömörítve.
Bár ezekben a hálókban a tanulás lassú lehet, a képzett háló futása nagyon gyors – akár egy neurális háló számítógépes szimulációján is.

Kohonen klaszterezési algoritmus:

– magas dimenziós bemenetet vesz fel, és csoportosítja, de megtartja a kimenet néhány topológiai sorrendjét.

Edzés után, egy input hatására néhány a kimeneti egységek bizonyos területen aktív lesz.

Az ilyen klaszterezés (és méretarány-csökkentés) nagyon hasznos előfeldolgozási szakaszként, akár további neurális hálózati adatfeldolgozás, akár hagyományosabb technikák esetében.

Hol alkalmazhatók a neurális hálózatok?

…vagy csak egy probléma megoldása?
A neurális hálózatok nem tehetnek semmit, amit a hagyományos számítástechnikai eszközökkel nem lehet elvégezni, DE néhány dolgot megtehetnek, ami egyébként nagyon nehéz lenne.

Különösen csak képzési adatokból (vagy esetleg bemeneti adatokból) alkothatnak modellt.

Ez különösen érzékszervi adatok vagy komplex (pl. Kémiai, gyártási vagy kereskedelmi) folyamatok adatai esetén hasznos. Lehet algoritmus, de nem ismert, vagy túl sok változóval rendelkezik. Könnyebb a hálózatot a példákból tanulni.

Neurális hálózatokat használnak:

befektetési elemzés:

hogy megpróbálja megjósolni a készletek mozgása valuták stb, korábbi adatokat. Ott van, felülírva ezzel a korábbi egyszerűbb, lineáris modellek.

a aláírás-elemzést:

mint összehasonlító mechanizmus aláírás készült (pl egy bank) azokkal tárolják. Ez az egyik első nagyméretű alkalmazásokat neurális hálózatok az Egyesült Államok-ban, és ez is az egyik első, hogy egy neurális hálózat chip.

folyamatirányítás:

egyértelműen vannak alkalmazások kell tenni itt: a legtöbb folyamatokat nem lehet meghatározni, kiszámítható algoritmusok. Newcastle Egyetem Vegyészmérnöki Tanszék dolgozik az ipari partnerekkel (például Zeneca és BP) ezen a területen.

az ellenőrzés:

hálózatokat használt monitor

• az állam a repülőgép-hajtóművek. Figyelésével rezgést, hangot, a korai előrejelző motor problémák adható.
• British Rail is tesztel egy hasonló alkalmazás nyomon dízelmotorok.

marketingben:

hálózatokat használtak a marketing mailshots javítására. Az egyik technika egy tesztposta futtatása, és az ebből származó visszatérések mintájának vizsgálata. Az ötlet az, hogy az ügyfelekről ismert adatokból prediktív feltérképezést találjunk, hogy hogyan válaszolt. Ezt a leképezést azután további postafotók irányítására használják.

További próbák:

Egy inkább hosszabb bevezetése (amely több, kereskedelmi orientált) házigazdája StatSoft, Inc.

Van még egy bevezetés (beleértve néhány történelem) által Stergiou és Siganos.

A Természetes számítástechnika alkalmazások fórum fut ülések (résztvevőkkel ipar, a kereskedelem és a academe) a kérelmek a neurális hálózatok. Kapcsolat NCAF keresztül saját honlapján, telefonon +44 (0) 1332 246989, vagy faxon +44 (0) 1332 247129

Internet címek: NeuroNet volt a Kings College, London, volt európai kiválósági hálózat a Neural Networks, amely 2001 márciusáig Howwever, a honlap továbbra is nagyon hasznos információforrás

IEEE Computational Intelligence Society (volt IEEE Neural Networks Society) http://www.ieee-cis.org/ közzé folyóiratok száma neurális hálózatok és a kapcsolódó területeken.

Írtam hat előadást Vissza szaporítása nagyon hosszú idővel ezelőtt, már megszűnt WP. Mégis, ezek olvasható…

Newscomp.ai.neural-nets háló van egy nagyon hasznos, a gyakran ismételt kérdések (GYIK), a rendelkezésre álló egy WWW dokumentumot: ftp://ftp.sas.com/pub/neural/FAQ.html

Tanfolyamok

Jó néhány szervezet tanfolyamokat: szoktuk futtatni egy 1 éves mesterképzés a ideg számítása: sajnos, ez természetesen felfüggesztették. Mi is tartanak tanfolyamokat, hogy tetszik. Arra készülünk, hogy indítsa el a központ Számítógépes intelligencia, az úgynevezett INCITE.

További specifikus információk

Néhány további információra alkalmazások találhatók a könyv stimulációs kezdeményezés az európai neurális alkalmazások (Siena).

További információ a Neurális hálózatok a feldolgozóipar, próbálja  A. Bulsari honlapját.

A cég BrainMaker egy szép listát a hivatkozást alkalmazások a szoftvercsomag, amely megmutatja a szélessége felhasználási területen.

Folyóiratokban.
Az alkalmazásorientált információk legjobb naplója

Neuralis számítástechnika és alkalmazások, Springer-Verlag. (cím: Sweetapple Ho, Catteshall Rd., Godalming, GU7 3DJ)

Könyvek.

Van egy csomó könyvet a neurális számítástechnika. Lásd a GYIK fenti sokkal hosszabb listát.

Egy nem túl matematikai bevezetése, próbálja

Fausett L. Alapjai Neural Networks, Prentice-Hall, 1994 ISBN 0 13 042250 9 vagy

Gurney K., Bevezetés a neurális hálózatok, UCL Press, 1997, ISBN 1 85.728 503 4

Haykin S., Neurális hálózatok, 2. kiadás, Prentice Hall, 1999, ISBN 0 13 273350 1 részletesebb könyvet, kiváló lefedettség az egész téma.

Hol vannak a neurális hálózatok?

Számos kutatás folyik a neurális hálózatokban világszerte.
Ez az alapkutatástól az új és hatékonyabb tanulási algoritmusokig terjed, olyan hálózatokig, amelyek képesek reagálni az időbeli változásokra (mindkettő folyamatban van Stirlingen), a neurális hálózatok közvetlenül szilíciumban történő megvalósításának technikáira. Már létezik egy kereskedelmi forgalomban kapható chip, de nem tartalmazza az adaptációt. Edinburgh Egyetem neurális hálózati chipet valósított meg, és a tanulási problémán dolgozik.

Egy tanulási chip gyártása lehetővé tenné e technológia alkalmazásának számos problémáját, ahol a számítógép és a szoftver ára nem igazolható.

Különösen érdekelnek az érzékszervi és érzékelési alkalmazások: a hálók, amelyek megtanulják értelmezni a valós világ érzékelőit, és megtanulják a környezetüket.

Új alkalmazási területek:

Toll PC-k

PC-k, ahol egy táblára írható, és az írás felismeri és lefordítja (ASCII) szövegbe.

Beszéd-és látásfelismerő rendszerek

Nem új, de a neurális hálózatok egyre inkább az ilyen rendszerek részévé válnak. Rendszerkomponensként használják a hagyományos számítógépekkel együtt.

Fehér áruk és játékok

Mivel a Neural Network chipek elérhetővé válnak, az egyszerű olcsó rendszerek felismerése, amelyek megtanulták felismerni az egyszerű entitásokat (pl. Falak, vagy egyszerű parancsok, mint a Go vagy a Stop), játékba és mosógépbe stb. ilyen technológiát, fuzzy logikát használnak. Jelentős érdeklődés mutatkozik a fuzzy és a neurális technológiák kombinációja iránt.

Néhány megjegyzés (2001. szeptember)

Reading ezen keresztül, ez egy kicsit elavult: nem az, hogy van valami hibás a fenti, de a világ változott. Neural Networks kell tekinteni, mint egy nagyobb területen néha Lágy számítástechnika vagy Természetes számítástechnika. Az elmúlt néhány évben már egy igazi mozgás a fegyelem három különböző irányban:

A neurális hálózatok, a statisztika, a generatív modellek, Bayes-következtetés

Van egy bizonyos értelemben ezek a mezők coalescing. Az igazi probléma az, hogy a következtetéseket hiányos, zajos adatok, és az összes ezeken a területeken kínálnak valamit ezen a területen. Fejlemények a matematika mögött meghúzódó fileds kimutatták, hogy vannak valós hasonlóság a használt technikák. Chris Bishop könyvet Neurális hálózatok mintázata, Oxford University Press egy jó kezdet ezen a területen.

Neuromorf rendszerek

Meglévő neurális hálózat (és természetesen egyéb Lágy számítástechnika) rendszerek általában szoftver modellek megoldására statikai problémák a PC-ken. De miért nem szabad a koncepció a munkaállomásról? A terület neuromorfikus rendszerek érintett valós idejű megvalósítások idegingerléssel inspirált rendszerek általában közvetlenül végrehajtott Szilíciumnál szenzoros és motoros feladatokat. Egy másik szempont a közvetlen végrehajtása részletes szempontjai neuronok szilícium (lásd neurális hálózat alább). A fő központok világszerte az Intézet neuroinformatikát zürichi, és A neuromorf rendszerek tervezésének központja Caltech. Van még néhány hasznos linkeket az Intézet Neuromorf mérnöki. Sőt, az amerikai DARPA most felfedezett Neuromorf rendszerek, és a kutatás finanszírozására e területen (pl Synapse).

Neurális hálózat

Van valódi érdeklődés hogyan neurális hálózat a kutatás és neurofiziológiai találkozhatnak. Az alakfelismerés szempontok mesterséges neurális hálózatok nem igazán megmagyarázni túl sokat arról, hogy igazi agyak ténylegesen dolgoznak. A mező nevű Számítógépes idegtudomány inspirálóan hatott mind a mesterséges neurális hálózatok és neurofiziológiai, és megkísérli, hogy a kettő együtt.

---