Conseil sur le choix d'un DSP ?

Sun Feb 21, 2010 1:05 pm   

On Feb 21, 4:35 am, whygee


Relis mieux, je n'ai pas parlé d'une simple sommation:
chaque entrée est affectée d'une pondération dynamique,
et en sortie on a un comparateur à seuil dont il
existe plusieurs fonctions d'activation différentes.
http://cjoint.com/?cvkTTPfCbi

Une fois que le biologiste a modélisé une équation,
libre à nous de l'implémenter en hard ou en soft.
http://cjoint.com/?cvkXMZQplG


Quels papiers ?
Poste les références de tes sources, please.


C'est le cas pour les réseaux de neurones artificiels.
Tu devrais vraiment lire ceci :
http://www.cijoint.fr/cj201002/cijSB9l1N4.pdf


Anticiper ?
A partir de quelle base de connaissances ?


Intéréssant, tu peux poster tes sources ?


Le simple fait de le demander
serait la preuve que c'est nécéssaire.

Sun Feb 21, 2010 1:19 pm   

On 21 fév, 02:05, LeLapin <ipub-enle...@neuf-enlever.fr> wrote:


Peux-tu citer tes sources ?
Notamment quelles expériences ont
validé cette affirmation.

Connais les expériences de Benjamin Libet sur la sensation de
conscience ?

--
-Stan

Sun Feb 21, 2010 2:38 pm   

On 21 fév, 11:51, LeLapin <ipub-enle...@neuf-enlever.fr> wrote:


"récupéré" a une connotation péjoratif.
Pour ce faire une idée du personnage,
il faut lire son livre "Notre existence a-t-elle un sens ?".
Je l'ai trouvé passionnant ( l'expérience de Libet y est
détaillée )

--
-Stan

Sun Feb 21, 2010 5:42 pm   

Jean-Christophe wrote:

simplifié. bon.


linéaires avec parfois un hystérésis et poids
variables, ça permet de faire joujou mais
je reste sur ma faim.


discipline des Maths depuis longtemps et
on serait en train de troller dessus sur fr.sci.math
je dis pas non plus que c'est hyper compliqué
mais bon, moi ça me suffit pas :-)


dans le fouilli de mon ordi...
ce que j'ai lu c'est sur le "SPDP" :
Spike Timing-Dependent Plasticity.
j'ai retrouvé un mémoire de 2005 :
http://ygdes.com/~whygee/rn/memoire05.pdf
et un papier de 2008 (aussi un labo français)
http://ygdes.com/~whygee/rn/esann08.pdf
ça traite de l'apprentissage, non pas seulement
de patterns simples, mais aussi de séquences.
En pratique c'est délicat mais je trouve cela
plus prometteur que les modèles présentés
dans le reste du thread.


mais je n'y trouve aucune mention de
temporalité comme dans SPDP ou ses dérivés
(d'où mon utilisation du terme "monostable"
auparavant, à défaut d'avoir trouvé un meilleur terme).




le reste (s'il en faut plus) devra être
trouvé par google et/ou dans les références des PDF.
Vu que c'est pas moi le spécialiste...
bonne lecture :-)


que je sois la meilleure personne pour ça.

hmmmm tiens ça me rappelle une "chanson"
du groupe Morphine : "my whole brain was out of tune..."

yg
--
http://ygdes.com / http://yasep.org

Mon Feb 22, 2010 3:48 am   

"whygee" <yg_at_yg.yg> a écrit dans le message de news:
hlrmb2$ovj$1_at_speranza.aioe.org...

s'il sufisait de rendre non-linéaire on
l'aurait fait depuis longtemps, seulement
ça n'apporte rien en soi...

le neurone biologique seul est quand meme
un objet pas très sophistiqué, le problème
est ailleur...

tiens une applet sympa sur les cartes auto-organisatrices
de Kohonen... ça fout les jetons ça à l'air vraiment
vivant... :-)

http://www.gsight.fr/kohonen.html

Mon Feb 22, 2010 9:11 am   

Bonjour,
Décidemment, pas de chance...
Ce circuit correspondait tout a fait à mes besoins, mais il est obsolète !
Zut, triple zut !
Donc du coup je vais devoir me retourner a nouveau vers un DSP ?

Pascal

Mon Feb 22, 2010 10:03 am   

Pascal06 wrote:

mais ça ne prendrait pas trop de place, avec des condos et résistances en 0603...



--
http://ygdes.com / http://yasep.org

Mon Feb 22, 2010 3:47 pm   

On Feb 21, 4:42 pm, whygee


La fonction d'activation est tout SAUF linéaire,
indique-moi ou tu vois du linéaire là-dedans ?
http://cjoint.com/?cvkTTPfCbi


Comment ca « parfois » ?
Au contraire c'est systématique : l'ajustement des
poids est justement ce qui permet l'apprentissage !

Est-ce que tu réalises qu'à force de simplifier comme
tu le fais, il ne s'agit plus du tout de la meme chose ?


Pardon : peut-etre que ce n'est pas assez bien pour toi
justement parce-que tu n'as pas saisi certaines choses ?
Vu la confusion que tu fais sur la fonction de transfert
du neurone, difficile de prendre au sérieux tes critiques :-)


Les systèmes dynamiques, le feed-back, l'itération, la convergence,
la stabilité, la topologie, etc, ne sont pas du domaine des maths ?
Tout phénomène physique se modélise avec des équations.

Il ne faut pas croire que la simplicité du modèle d'un
seul neurone implique la simplicité d'un réseau de neurones.
Ce serait une simplification aussi abusive qu'illégitime,
parce-que cela ne tient pas compte de la connectivité
du réseau ni de la méthode d'aprentissage implémentée.

Tout comme il ne faut pas croire que la modélisation d'un
neurone biologique est suffisante pour etre une indication
sur le fonctionnement global du cerveau humain :
il y a infiniment plus de distance entre ces deux choses
qu'il n'y en a entre un transistor et un micro-processeur.

Ce n'est pas parce-qu'on a le schéma interne d'un uP
qu'on peut prédire quel algorithmes vont tourner dessus.
Ce n'est pas parce-qu'on connait la table de Mendeleiev
qu'on peut prédire toutes les structures matérielles possibles.
Ce n'est pas parce-qu'on connait les 26 lettres de l'alphabet
qu'on peut prédire tous les mots et les concepts qu'ils désignent.

Quand les possibiliés de la combinatoire s'en mèlent, ce n'est
pas la simplification qui joue, c'est au contraire la
complexification.
C'est dire que le tout est plus que la somme des parties,
d'autant plus qu'il ne s'agit PAS d'une simple « somme » !


Aprés lecture, rien de nouveau là-dedans :
il existe déja une floppée de modéles d'apprentissage
et on en invente de nouveaux chaque année ...
C'est plus un TP que de la recherche.

Extrait :
"Nous avons testé cette approche sur deux tâches simples [...]"
"les taux de réussite obtenus ne sont pas excellents, et sont"
"bien moins bons que ce que pourraient donner d'autres méthodes"


Ce papier-là est plus intéressant, meme s'il ne s'agit
que d'une implémentation différente de la meme méthode.

Mais ta critique porte sur le modèle du neurone
alors que les papiers que tu cites portent sur
la discussion d'une méthode d'apprentissage ;
serait-il possible que tu aies confondu les deux.


C'est effectivement une présentation de la théorie
de base qu'il faut déja avoir comprise avant de
prétendre émettre des critiques constructives.

Par exemple, si tu veux apprendre la physique à partir de
zéro, tu vas commencer par le début en étudiant les bases,
et non pas sauter directement à la physique quantique,
sinon tu n'y comprendras rien et tu diras des bétises.
( cela dit avec tout le respect que je te porte :-)


J'ai lu ces deux papiers et il n'y a AUCUNE trace
de cette prétendue capacité du neurone à « anticiper »
Indique-moi à quelle page tu as lu cela.


Avant qu'il en faille plus il faudrait déja qu'il y ait un début !
Il existe des tas de méthodes d'apprentissage,
et à ma connaissance aucune ne permet d' « anticiper ».
D'ailleurs meme en admettant une telle technique,
ce serait justement du à la méthode d'aprentissage
et non pas au modèle du neurone comme tu le dis.


Il ne suffit pas de dire "just google it".

C'est toi qui affirmes l'existence d'une anticipation,
c'est à toi que revient la charge d'étayer tes dires,
pas à moi.

Mon Feb 22, 2010 4:45 pm   

On Feb 22, 2:48 am, "Stephane Legras-Decussy"


Qu'il s'agisse de neurone artificiel ou biologique,
aucune de leurs fonctions d'activation n'est linéaire !
Pour s'en convaincre il suffit de lire les équations:
http://cjoint.com/?cvkTTPfCbi


Si !
Ca apporte au neurone la possibilité de faire un CHOIX,
en comparant la somme pondérée de ses entrées avec
un seuil (qui peut trés bien etre lui-meme variable)
Et cette possibilité de choix n'existe que grace
à la non-linéarité des fonctions d'activation.


La sophistication ne réside pas dans un seul neurone,
mais dans le réseau, sa connectivité et sa combinatoire.


Les nuages aussi bougent, ils ne sont pas vivants pour autant.
L'auto-organisation qu'on observe dans une cellule
de convection de Rayleigh n'est pas un signe de vie,
idem pour le jeu de la vie de John Conway, etc ...

Mon Feb 22, 2010 6:05 pm   

In article <4b822ef6$0$25188$426a74cc_at_news.free.fr>,
"Pascal06" <toto_at_toto.com> wrote:


yen a chez ED mais en boitier dip et c'est pas le meme prix ...
http://www.electronique-diffusion.fr/advanced_search_result.php?osCsid=d5
d735f9af44f6549e8869a511f1b609&keywords=tea6360&x=0&y=0

sinon sur la baie, littlediode presque le meme prix..

sinon le dsp !

--
Jean-Yves.

Mon Feb 22, 2010 9:54 pm   

Bonsoir,

je me permets de répondre ici,
je n'ai plus trop le temps ni de raison
de répondre point par point à la réponse
de Stéphane (mes excuses).

Jean-Christophe wrote:

ma remarque (et mon grief tout à fait personnel
que j'essaie de m'exprimer mais sans vouloir critiquer)
c'est que la fonction d'activation, bien que non
linéaire, n'est qu'une partie qui suit un processus
tout à fait linéaire (du moins dans les modèles classiques) :
une somme pondérée.

Alors OK on applique une fonction de transfert
à une somme de produits, ça rend les choses plus
intéressantes, mais avant d'entendre parler
des modèles incluant le synchronisme dans
la pondération, je ne trouvais pas les
réseaux neuronaux (quelle que soit la topologie)
suffisamment puissants
(donc oui c'est une question de goûts,
mais j'ai appris à faire confiance aux miens).

Bon, avec les modèles de type STDP,
là, j'ai du grain à moudre
Effectivement, j'ai fait une recherche
rapide des 2 documents et n'ai pas pu
trouver le mot "anticipation" ou "anticiper" :
je me suis probablement un peu trop
excité sur le coup mais rassurez-vous,
j'ai largement assez de projets en cours
pour canaliser mon énergie ;-)


mon autre grief est que justement, si !
un neurone même individuel est compliqué,
et le résumer à une somme de produits
suivie d'une fonction de transfert non linéaire,
même si certains arrivent à faire des trucs avec,
ça reste (trop) limité (à mon goût).

Cependant, je sais bien que oui, le neurone seul
ne peut rien faire, c'est comme demander à un
transistor de faire autre chose que d'amplifier
un signal ou jouer à la diode.


(j'ai pas pu voir, et Javaçapue) mais
je suis aussi d'accord avec Jean-Christophe.
Des Fractales, des automates cellulaires,
de la simulation d'écoulements de fluides,
j'en ai fait assez pour savoir qu'une belle
image ou animation ... c'est pas tout :-)

Mais bon, déjà si c'est zoli, c'est la moitié
du chemin pour intéresser les gens aux formidables
choses qui nous entourent, dans le réel (physique)
comme dans les mondes "virtuels" (informatique,
mathématiques...). Ensuite, ce que ça
apporte à la Science (en plus de troupeaux de
jeunes passionnés), c'est une autre question.

Bon,
- vu que c'est pas demain que je vais implémenter des RN,
- puisque c'est complétement hors charte
- vu que j'ai rien à apporter de plus
(mais allez quand même voir les modèles genre STDP )
- et que j'ai pas envie que ça tourne au vinaigre,
je m'arrête là pour ce thread.

en tout cas, merci pour la discussion :-)

yg
--
http://ygdes.com / http://yasep.org

Tue Feb 23, 2010 1:29 am   

On 22 fév, 02:48, "Stephane Legras-Decussy"
<killyours...@yesnocancel.com> wrote:


Bien sûr, si tu te fies aux photos trouvées
dans des revues de vulgarisations...
Mais soyons sérieux, comme la plupart
des cellules qui nous composent, le neurone
est d'une complexité remarquable.

--
-Stan

Tue Feb 23, 2010 2:46 am   

Stephane Legras-Decussy wrote:


les modèles du genre STDP ajoutent autre chose,
une autre dimension, qui est le temps, ce que les
modèles que j'avais vu jusque maintenant n'intégraient pas.
Aucune mention de ça dans le cijSB9l1N4.pdf passé sur ci-joint.
Alors oui c'est plus difficile à simuler, mais je
"sens" que c'est plus puissant.

oui, je me répète, et oui, j'ai dit que je répondrais pas.
mais bon, hein, les promesses faites sur Usenet.......
yg
--
http://ygdes.com / http://yasep.org

Tue Feb 23, 2010 3:10 am   

"Jean-Christophe" <5.d_at_free.fr> a écrit dans le message de news:
4089cc7c-8c50-467c-aae8-cd5262e87aef_at_l26g2000yqd.googlegroups.com...


ok pour la fonction d'activation mais j'ai cru
comprendre que whygee voulait ajouter de la non-linéarité
ailleur dans le reseau...




oui c'est pour ça que j'ai écrit "a l'air vivant"...et avec
un smiley de sécurité en plus...

Tue Feb 23, 2010 3:14 am   

Jean-Christophe wrote:

le plus souvent "réduit" à juste ces deux aspects.








c'est là que se situe mon souci :
quand j'ai parlé de synchronisme, je pensais et
sous-entendais "synchronisme d'un neurone avec
ses voisins", un paramètre qui entre aussi
dans la réalité dans la pondération de la somme.

Or en informatique et avec les RN "simples",
ce paramètre est éclipsé et simplifié à :
tous les neurones sont synchrones.
Ce qui n'est pas vrai en réalité :
il suffit de regarder un EEG.


et d'affinages.


Les PDF que j'ai fourni parlent de "Spike-Timing Dependent Plasticity"
et de leur apprentissage, cela ne veut pas dire que STDP
/est/ un modèle d'apprentissage.

Ensuite, chaque labo a développé ses propres codes qu'ils
refusent de révéler, ce qui empêche malheureusement l'évaluation
effective de leur travaux. Encore un autre sujet tabou.

En tout cas je note dans memoire05.pdf :
"Nous nous intéresserons à une loi hebbienne, issue de la biologie,
la Spike-Timing Dependent Plasticity, qui fait évoluer les poids
des synapses selon le délai entre les temps de décharge du neurone
pré-synaptique et du neurone post-synaptique."
Ce n'est pas juste une méthode d'apprentissage, on ne peut
pas apprendre le temps à un réseau qui n'en a pas.
Il s'agit donc bien d'un modèle de réseau qui nécessite
d'affiner la définition d'un neurone.




en tout cas j'ai bien lu :
"l'apprentissage de séquences"


avait promis il y a 50 ans ?" :-)


au lieu de juste neurones. J'ai probablement écrit
un peu trop rapidement mes derniers posts,
ce qui ne signifie pas que j'ai pensé qu'un seul
neurone pouvait anticiper quoique ce soit.


avec des algos génétiques ? :-)

yg
--
http://ygdes.com / http://yasep.org