elektroda.net NewsGroups Forum Index - Electronique FR - Conseil sur le choix d'un DSP ?
Jean-Christophe
Guest
Guest
Tue Feb 23, 2010 3:30 am
On Feb 22, 8:54 pm, whygee
Quote:
la fonction d'activation, bien que non linéaire,
n'est qu'une partie qui suit un processus tout à fait
linéaire (du moins dans les modèles classiques) :
une somme pondérée.
n'est qu'une partie qui suit un processus tout à fait
linéaire (du moins dans les modèles classiques) :
une somme pondérée.
Effectivement ce n'en est qu'une partie, mais cette partie
est *indissociable* de la partie non-linéaire, ce qui fait
qu'un neurone dans son ensemble reste non-linéaire.
Ce que tu perds de vue, c'est que la fonction de transfert
globale du neurone, vue de l'exterieur (c'est-à-dire du réseau)
est non séparable en ses sous-fonctions: il reste non-linéaire.
Ce n'est pas parce-que tu y vois un terme en sigma
qu'il faut « oublier » la fonction d'activation !
Dans l'exemple de l' AOP suivi d'un comparateur,
si le tout est implémenté en hard sur un chip,
tu auras beau savoir que les entrées sont sommées
(donc linéaires) tu ne pourras rien faire au fait que
la sortie basculera au passage du seuil (non linéaire)
Autre exemple :
Si tu vois une fonction non-linéaire du genre
(1) y = ax^p + bx + c
et que tu la « simplifies » en
(2) y = k + bx + c
pour conclure que c'est linéaire puisque tu vois
(3) bx + c
ben là ce n'est plus la MEME fonction, donc tes
conclusions sur (3) ne sont pas valables pour (1)
C'est utile de simplifier, mais faut pas jeter bébé
avec l'eau du bain, sinon maman pas etre contente !
Quote:
Alors OK on applique une fonction de transfert
à une somme de produits, ça rend les choses plus
intéressantes, mais avant d'entendre parler
des modèles incluant le synchronisme dans
la pondération, je ne trouvais pas les
réseaux neuronaux (quelle que soit la topologie)
suffisamment puissants
à une somme de produits, ça rend les choses plus
intéressantes, mais avant d'entendre parler
des modèles incluant le synchronisme dans
la pondération, je ne trouvais pas les
réseaux neuronaux (quelle que soit la topologie)
suffisamment puissants
Tu continues à confondre la fonction de transfert
(locale) d'un neurone avec la fonction (globale)
d'aprentissage du réseau dans son ensemble.
Leurs participations respectives au résultat
d'un test donné ne se situent pas au meme niveau.
Par exemple, tu peux étudier le fonctionnement interne
d'un ordinateur à un niveau élémentaire (transistors)
ou au niveau logique (portes NOT, NAND, etc)
ou au niveau fonctionnel (registres, etc)
mais une analyse qui est pertinente pour un de ces
niveaux ne l'est pas nécéssairement pour un autre.
En ce qui concerne les réseaux de neurones, il me semble
bien que tu fais cette confusion entre ces différents niveaux.
Quand on implémente un réseau de neurones en soft,
on fait le calcul de toutes les mises à jour des poids
synaptiques à un instant donné : il y a bien synchronisme,
c'est pourquoi je ne vois pas ce que tu y trouves à redire.
Quote:
donc oui c'est une question de goûts,
Ce n'est pas une question de gout :
2 + 2 = 4 est toujours vrai, quelque soient les gouts.
Le modèle conceptuel du neurone date des années 1930,
et depuis beaucoup de travail a été fait là-dessus,
puis ca s'est calmé quand on s'est rendu compte que
les tenants de l' I.A ne tenaient pas leurs promesses.
(c'est une autre discussion, tout aussi intéréssante)
Quote:
Bon, avec les modèles de type STDP, là, j'ai du grain à moudre
Bon, c'est un des *nombreux* modèles d'apprentissage
(et non pas un modèle de neurone) et il en existe beaucoup
d'autres, dont l'efficacité dépend du test qu'on leur soumet :
a chaque type de probléme son modéle d'aprentissage adapté,
mais il n'en existe aucun qui résolve tous les problèmes.
Je pense que tu devrais etre beaucoup plus
intéréssé par les modèles qui implémentent
ce que l'on appelle « l'auto-apprentissage »
Quote:
Effectivement, j'ai fait une recherche
rapide des 2 documents et n'ai pas pu
trouver le mot "anticipation" ou "anticiper" :
je me suis probablement un peu trop excité sur le coup
rapide des 2 documents et n'ai pas pu
trouver le mot "anticipation" ou "anticiper" :
je me suis probablement un peu trop excité sur le coup
Ah, enfin ... merci de l'admettre !
C'est si rare de nos jours d'etre sincère
que c'en est presque devenu un anachronisme ...
(comme si le fait de reconnaitre de s'etre planté
était un signe de faiblesse ou je ne sais quoi)
Quote:
mais rassurez-vous, j'ai largement assez de
projets en cours pour canaliser mon énergie
projets en cours pour canaliser mon énergie
Je suis rassuré, les LEDs continueront à clignoter !
Quote:
mon autre grief est que justement, si !
un neurone même individuel est compliqué,
et le résumer à une somme de produits
suivie d'une fonction de transfert non linéaire,
même si certains arrivent à faire des trucs avec,
ça reste (trop) limité (à mon goût).
un neurone même individuel est compliqué,
et le résumer à une somme de produits
suivie d'une fonction de transfert non linéaire,
même si certains arrivent à faire des trucs avec,
ça reste (trop) limité (à mon goût).
Pour quelle raison ?
Ou se situe le manque ?
D'ou tires-tu les bases de ce que tu avances ?
Quels sont tes arguments ?
Quote:
Cependant, je sais bien que oui, le neurone seul
ne peut rien faire, c'est comme demander à un
transistor de faire autre chose que d'amplifier
un signal ou jouer à la diode.
ne peut rien faire, c'est comme demander à un
transistor de faire autre chose que d'amplifier
un signal ou jouer à la diode.
Mais c'est tout ce qu'on lui demande,
justement parce-que l'on sait que c'est tout
ce que l'on peut raisonnablement attendre de lui.
Tu ne vas pas demander à un seul transistor
de faire le travail d'un micro-processeur,
bien que le micro-processeur soit fait de transistors !
Ne confonds pas les niveaux d'interactions
entre neurone/transistor et réseau/micro-processeur :
la finalité de leur fonction n'appartient pas au meme niveau,
et par suite leur analyse ne se fait pas sous le meme angle.
Quote:
Mais bon, déjà si c'est zoli, c'est la moitié
du chemin pour intéresser les gens aux formidables
choses qui nous entourent, dans le réel (physique)
comme dans les mondes "virtuels" (informatique,
mathématiques...). Ensuite, ce que ça
apporte à la Science (en plus de troupeaux de
jeunes passionnés), c'est une autre question.
du chemin pour intéresser les gens aux formidables
choses qui nous entourent, dans le réel (physique)
comme dans les mondes "virtuels" (informatique,
mathématiques...). Ensuite, ce que ça
apporte à la Science (en plus de troupeaux de
jeunes passionnés), c'est une autre question.
Oui, ok, c'est justement ce qui m'empèche de rester
silencieux quand je lis des trucs qui me font bondir,
comme par exemple les neurones « anticipatifs »
Quote:
- vu que c'est pas demain que je vais implémenter des RN,
- puisque c'est complétement hors charte
- vu que j'ai rien à apporter de plus
(mais allez quand même voir les modèles genre STDP
)
- et que j'ai pas envie que ça tourne au vinaigre,
- puisque c'est complétement hors charte
- vu que j'ai rien à apporter de plus
(mais allez quand même voir les modèles genre STDP
)
- et que j'ai pas envie que ça tourne au vinaigre,
Aucune raison que ca tourne au vinaigre
tant qu'aucun troll ne se pointe ...
(pour ca on est assez bien lotis sur fse,
sauf quelques rares attaques mal branlées)
Quote:
en tout cas, merci pour la discussion 
Ce fut un plaisir, quoique de courte durée...
(comme me dit (presque) toujours ma fiancée)
^H ^H ^H ^H ^H ^H ^H ^H ^H ^H ^H ^H ^H ^H ^H
whygee
Guest
Guest
Tue Feb 23, 2010 3:38 am
pb de serveur nntp donc je relis ce que j'ai posté
et je réalise un ou deux trucs...
Quote:
Jean-Christophe wrote:
snip
Quand on implémente un réseau de neurones en soft,
on fait le calcul de toutes les mises à jour des poids
synaptiques à un instant donné : il y a bien synchronisme,
snip
Quand on implémente un réseau de neurones en soft,
on fait le calcul de toutes les mises à jour des poids
synaptiques à un instant donné : il y a bien synchronisme,
ah donc j'avais zappé ce détail, il y a plusieurs opérations :
l'activité de déclenchement des neurones
(l'itération de l'application des sommations et fonctions de transfert)
et l'activité de mise à jour des poids de chaque
couple neurone/synapse.
Moi je me suis intéressé surtout au premier,
qui est la plupart du temps sursimplifié (d'où mon grief
)
alors que ce passage parle aussi de la 2ème étape, qui est
à plusieurs échelles de temps plus lentes
(et à plusieurs échelles de temps, tout court,
et contrôlé par de nombreux mécanismes différents).
Le fait de mettre à jour tous les poids en même temps
est encore (à mon sens) une sursimplification.
Quote:
"Nous nous intéresserons à une loi hebbienne, issue de la biologie,
la Spike-Timing Dependent Plasticity, qui fait évoluer les poids
des synapses selon le délai entre les temps de décharge du neurone
pré-synaptique et du neurone post-synaptique."
Ce n'est pas juste une méthode d'apprentissage, on ne peut
pas apprendre le temps à un réseau qui n'en a pas.
Il s'agit donc bien d'un modèle de réseau qui nécessite
d'affiner la définition d'un neurone.
Je veux dire par là que même si STDP était juste
la Spike-Timing Dependent Plasticity, qui fait évoluer les poids
des synapses selon le délai entre les temps de décharge du neurone
pré-synaptique et du neurone post-synaptique."
Ce n'est pas juste une méthode d'apprentissage, on ne peut
pas apprendre le temps à un réseau qui n'en a pas.
Il s'agit donc bien d'un modèle de réseau qui nécessite
d'affiner la définition d'un neurone.
Je veux dire par là que même si STDP était juste
un modèle d'apprentissage, les neurones sous-jacents
ont nécessairement le moyen de réagir aux temps
entre les impulsions, ce qui veut dire tout simplement que
les neurones artificiels utilisant STDP ont une notion
du temps "non discrète" (ce n'est pas réduit à des
itérations simples).
Ensuite, s'ils sont plus ou moins efficaces que d'autres
modèles plus anciens, ça m'embête pas, tant que ça
fait bien ce qu'on lui demande, et les techniques
d'améliorations sont très nombreuses. Je reviendrai voir
le résultat dans 10 ou 20 ans ;-)
re-yg
--
http://ygdes.com / http://yasep.org
Dan NITA
Guest
Guest
Tue Feb 23, 2010 12:04 pm
"Pascal06" <toto_at_toto.com> a écrit dans le message de news:
4b7ecf60$0$10494$426a34cc_at_news.free.fr...
Quote:
Bonsoir à tous,
j'aimerais me bricoler un égualiseur audio stéréo, 5 bandes, le plus petit
possible.
Mon premier réflexe a été de regarder chez Microchip, mais pouvez vous me
conseiller d'autres DSP faciles à mettre en oeuvre, avec des outils de
développement gratuits (ou abordables), car étant "simple technicien", je
n'ai jamais manipulé ce genre de composants. Le DSP devrait en plus
inclure, bien sûr, quelques entrées/sorties pour d'autres fonctions.
Merci de me faire part de vos expériences.
Pascal
j'aimerais me bricoler un égualiseur audio stéréo, 5 bandes, le plus petit
possible.
Mon premier réflexe a été de regarder chez Microchip, mais pouvez vous me
conseiller d'autres DSP faciles à mettre en oeuvre, avec des outils de
développement gratuits (ou abordables), car étant "simple technicien", je
n'ai jamais manipulé ce genre de composants
. Le DSP devrait en plus
inclure, bien sûr, quelques entrées/sorties pour d'autres fonctions.
Merci de me faire part de vos expériences.
Pascal
Bonjour Pascal,
Il est possible de faire un mini équaliseur audio avec quelques ampli-op en
boîtier SO et des potentiomètres numériques type MAX5471.
http://www.maxim-ic.com/quick_view2.cfm/qv_pk/4092
Bon courage,
Dan.
Dan NITA
Guest
Guest
Tue Feb 23, 2010 12:31 pm
Encore plus simple à interfacer avec des boutons:
http://www.intersil.com/products/deviceinfo.asp?pn=ISL22511#data
Dan.
Jean-Christophe
Guest
Guest
Wed Feb 24, 2010 5:47 pm
On Feb 23, 2:14 am, whygee
Quote:
Dans les équations, j'aurais bien aimé avoir t
Pardon ?
D'aprés ce que j'ai pu lire sur le thread
concernant l'alim de LEDs sur le 220V, tu n'as
pas l'air d'etre trés copain avec les équations ?
Tu dis toi-meme « j'ai trop peur de faire les calculs »
C'est honnète de ta part de l'avouer, mais alors que
penser de ta critique du modéle neuronal quand tu dis
« je reste sur ma faim » et « ça me suffit pas »
Pour critiquer un système décrit par des équations
il faut au moins tenir compte de ces équations,
sinon la critique ne porte pas sur le système
mais sur ce que tu crois en avoir compris.
Bref, pour en revenir au sujet, c'est la meme chose
que lors du passage de l'analogique au numérique :
dans les équations le temps continu [t] est
remplacé par l'indice d'itération discret [n]
tel que [ t = n.T ] avec [T] la durée élémentaire :
tu vois bien que les indices [n] se réfèrent au temps.
Quand on écrit U=R*I il n'est pas fait mention du temps,
alors qu'on sait bien que la variation d/dt
d'un paramètre entraine la variation des autres.
Cela sous-entend U(t) = R(t) * I(t) mais on ne l'écrit
pas comme ca justement parce-que c'est sous-entendu !
Quote:
quand j'ai parlé de synchronisme, je pensais et
sous-entendais "synchronisme d'un neurone avec
ses voisins", un paramètre qui entre aussi
dans la réalité dans la pondération de la somme.
sous-entendais "synchronisme d'un neurone avec
ses voisins", un paramètre qui entre aussi
dans la réalité dans la pondération de la somme.
Mais chaque neurone du réseau est bien en synchro
avec tous ses voisins auxquels il est connecté.
Quote:
Or en informatique et avec les RN "simples",
ce paramètre est éclipsé et simplifié à :
tous les neurones sont synchrones.
Ce qui n'est pas vrai en réalité :
il suffit de regarder un EEG.
ce paramètre est éclipsé et simplifié à :
tous les neurones sont synchrones.
Ce qui n'est pas vrai en réalité :
il suffit de regarder un EEG.
Rogntudju, le fait que les calculs soient synchros ne signifie
absolument pas que les états des neurones soient les memes !
Remarque qu'on pourrait trés bien réaliser le calcul itératif
*seulement* sur quelques sous-groupes de neurones du réseau :
reste alors à justifier la raison d'etre d'une telle procédure,
et surtout de prouver que cela apporte un réél progrés ...
Quote:
Les PDF que j'ai fourni parlent de "Spike-Timing Dependent Plasticity"
et de leur apprentissage, cela ne veut pas dire que STDP
/est/ un modèle d'apprentissage.
et de leur apprentissage, cela ne veut pas dire que STDP
/est/ un modèle d'apprentissage.
Ben si, le STDP est bien une loi d'aprentissage,
relis ton papier (première phrase de la page 3)
http://ygdes.com/~whygee/rn/memoire05.pdf
" comment utiliser une *LOI D'APPRENTISSAGE* locale issue "
" de la biologie, la Spike-Timing Dependent Plasticity. "
Par ailleurs la STDP se classe parmi les lois de Hebb,
et une loi de Hebb inclut bien le temps, une fois que tu
as compris que le temps [t] est représenté par l'indice [n].
Et c'est le cas meme en dehors d'une implémentation STDP.
(ci-joint la page 32 extraite de la doc que j'ai posté)
http://cjoint.com/?cypfNGDWHR
Quote:
Ce n'est pas juste une méthode d'apprentissage, on ne
peut pas apprendre le temps à un réseau qui n'en a pas.
peut pas apprendre le temps à un réseau qui n'en a pas.
Rogntudju, tout réseau de neurones a nécéssairement un
temps [t] qui est celui de l'itération élémentaire [n].
Quote:
en tout cas j'ai bien lu: "l'apprentissage de séquences"
Et alors ?
Ce n'est pas parce-que les séquences dépendent du temps
qu'un réseau de neurones sera incapable de les trier :
Pour que le réseau reconnaisse une séquence,
il faut bien que celle-ci soit présente sur son entrée,
ensuite l'état du réseau va converger vers la solution.
D'ailleurs dans un réseau le paramètre d'apprentissage
dépend bien du temps, sinon cela ne convergerait jamais !
Regarde cette page extraite de la doc que j'ai posté
http://cjoint.com/?cyo5E0pf7y
Quote:
Ensuite, chaque labo a développé ses propres codes qu'ils
refusent de révéler, ce qui empêche malheureusement l'évaluation
effective de leur travaux. Encore un autre sujet tabou.
refusent de révéler, ce qui empêche malheureusement l'évaluation
effective de leur travaux. Encore un autre sujet tabou.
Rien de tabou, si cela t'intéresse vraiment
il ne suffit pas de chercher sur Google ou Wiki,
il faut lire les papiers publiés dans la presse spécialisée.
Pascal06
Guest
Guest
Sun Feb 28, 2010 12:33 pm
Bonjour Dan,
et merci pour tes liens très interressant... Je ne savais même pas qu'il y
avait des solutions tout intégrées (le deuxième circuit, l'Intersil)...
Quelque part le progrès enlève le côté "créatif", bientôt un seul
"composant" permettra de tout faire, même le café
A bientôt,
Pascal
"Dan NITA" <ddd_at_nnn.fr> a écrit dans le message de groupe de discussion :
4b83ae6b$0$1009$4d4eb98e_at_read.news.fr.uu.net...
Quote:
Encore plus simple à interfacer avec des boutons:
http://www.intersil.com/products/deviceinfo.asp?pn=ISL22511#data
Dan.
http://www.intersil.com/products/deviceinfo.asp?pn=ISL22511#data
Dan.
elektroda.net NewsGroups Forum Index - Electronique FR - Conseil sur le choix d'un DSP ?
