Theoretical results for deep neural networks
Johannes Schmidt-Hieber
Leiden University
| SCHEDULE | Monday | 14th January 2019 21st January 2019 |
De 14h à 16h30 | Salle 2016 |
| Thursday | 17th January 2019 24th January 2019 |
De 14h à 16h30 | Salle 2016 |
Theoretical results for deep neural networks
Summary:
Large databases and increasing computational power have recently resulted in astonishing performances of deep neural networks for a broad range of extremely complex tasks, including image and text classification, speech recognition and game playing. These deep learning methods are build by imitating the action of the brain and there are few theoretical results as of yet. To formulate a sound mathematical framework explaining these successes is a major challenge for current research.
The course aims to give an overview about existing theory for deep neural networks with a strong emphasis on recent developments. Core topics are approximation theory and complexity bounds for the function spaces generated by deep networks. Beyond that we also discuss modelling aspects, theoretical results on the energy landscape and statistical risk bounds.
Literature:
– Anthony, M., and Bartlett, P. L. Neural network learning: theoretical foundations. Cambridge University Press, 1999.
– Bach, F. Breaking the curse of dimensionality with convex neural networks. JMLR. 2017.
– Barron, A. Universal approximation bounds for superpositions of a sigmoidal function. IEEE . 1993.
– Barron, A. Approximation and estimation bounds for artificial neural networks. Machine Learning. 1994.
– Choromanska, A., Henaff, M., Mathieu, M., Arous, G. B., LeCun, Y. The loss surface of multilayer networks. Aistats. 2015.
– Goodfellow, Bengio, Courville. Deep Learning. MIT Press, 2016.
– Pinkus, A. Approximation theory of the MLP model in neural networks. Acta Numerica, 143-195, 1999.
– Schmidt-Hieber, J. Nonparametric regression using deep neural networks with ReLU activation function. ArXiv 2017.
– Telgarsky, M. Benefits of depth in neural networks. ArXiv. 2016.
– Yarotsky, D. Error bounds for approximations with deep ReLU networks. Neural Networks. 2017.
PhD SCHOLARSHIPS AT CREST
Deadline : 30 April, 2018
We have three different grants going on:
CREST PhD. Scholarship 2018-2019
PhD grant in economics : “The econometrics of many-to-one matching“
Bourse de Thèse : “Algorithmes bayésiens pour la grande dimension, applications en cosmologie“
Arnaud Goussebaile awarded the Ernest Meyer Prize for his thesis
After studying physics and climate sciences at the Ecole Normale Supérieure, Arnaud Goussebaïle undertook a doctorate in economics at the Ecole Polytechnique to investigate societal issues related to climate change. In may 2016, he defended his Ph.D. thesis on the prevention and insurance of natural disasters, for which he has recently received the Ernst-Meyer Prize of the Geneva Association. He now pursues his research on the adaptation to climate change as a postdoctorate at the Ecole Polytechnique and soon at the ETH Zurich.
The Malinvaud prize awarded to Pierre Boyer, professor at Ecole Polytechnique
Pierre Boyer, professor at École polytechnique, received on June 21, 2017 the Malinvaud Prize awarded by the French Association of Economics (AFSE) for its article “Efficiency, welfare and political competition”, published in the Quarterly Journal of Economics.
For the second consecutive year, the Malinvaud Prize of the French Association of Economics was awarded to a professor at École polytechnique. This prize is awarded every year since 2010 to a young economist under 40, author of the best scientific article published in a reference journal. In 2016, Isabelle Méjean, Associate Professor at École Polytechnique, was awarded for her article “Firms, Destinations and Aggregate Fluctuations” published in Econometrica. This year, Pierre Boyer is distinguished for his work on the political determinants of income tax reforms.
In his article co-written with Felix Bierbraueur (University of Cologne), Pierre Boyer seeks to understand how the tax rates of the income tax are determined. “There are big differences between the theory developed in public economics, and what we observe in the real world,” says the professor. According to this theory, the tax scale would be chosen by a benevolent planner, that is to say, an abstract entity allocating social weights to different categories of the population. And according to this entity, more social weight would be allocated to low-income populations. “These social weights we are interested in play a key role in setting the balance between fairness and efficiency in the tax scheme of income tax,” says Pierre Boyer. Thus, to explain these differences between theory and reality, the economist proposes to determine the social weight no longer from this theoretical hypothesis, but, this time, from electoral competition by appealing to the political economy .
In their article, and for the first time in this literature, the two economists have combined notions from public economy with political economy. “We managed to make the connection between these two branches thanks to the results of the mathematician Emile Borel, a polytechnician who developed a game of military strategy, says the professor. This game inspired Roger Myerson, winner of the 2007 Nobel Prize in Economics, who introduced him to the study of political economy. From this game, and making an analogy with politics, the young economist and his co-author managed to make the link between these two subfields of economics. Moreover, their article opens the way to practical applications that should ultimately help to better understand the determinants of income tax changes since its creation in 1914 in France, and to explain its changes over years.
“This award is a great encouragement for the pursuit of my research,” says Pierre Boyer who wishes to express his gratitude to the members of the jury and the president, Roger Guesnerie, for having selected his article.
About Pierre Boyer
Pierre Boyer is currently assistant professor at École polytechnique and CREST. He is also a research associate at the CESifo Institute in Munich and at the Research Center on the Political Economy of Reforms at the University of Mannheim in Germany. He holds a doctorate in economics from the Toulouse School of Economics and the École des Hautes Etudes en Sciences Sociales. His research has been rewarded with the thesis prize of the French Association of Economics, the Economics Prize of the Academy of Sciences, Inscriptions and Belles-Lettres of Toulouse, and the Public Economics Prize of the CESifo Institute of Munich (Germany).
Francis Kramarz received an ERC advanced grant
After the starting grant obtained by Isabelle Méjean last year, Francis Kramarz obtained an advanced grant of €1.75M for his project “FIRMNET” on firms and their networks. The project plans to study how social and business networks help companies be resilient in the face of shocks. The research, both theoretical and empirical in France and Sweden, is set to provide insights about labor economics, international trade, econometrics and management.
Isabelle Méjean nominated for the best young French economist award
The Best Young Economist of France Award was created in 2000 by the Cercle des économistes and Le Monde and is awarded each year to a French economist under forty for his/her expertise and contribution to the public debate. On May 22nd, 2017, Antoine Bozio, researcher at the Paris School of Economics and director of IPP, received the prize. Three other economists have been nominated, among which Isabelle Mejean, Associate Professor in Ecole Polytechnique and a member of CREST.
A new building for CREST
All researchers, professors, students and administrative personnel working at CREST are so happy to announce that, starting June 26, we will be doing the exact same old jobs within our new building on the Saclay/Polytechnique Campus (http://crest.science/about#maps-and-directions) !
Jeremy Lise will be the first speaker for the first seminar taking place there, on June 29. Jeremy will present “Multidimensional Skills, Sorting, and Human Capital Accumulation”, jointly written with Fabien Postel-Vinay (who, by the way, was a former CREST researcher).
Among the many good news that accompany this incredible move, we take the opportunity to announce the arrival of our new assistant professors who will join us in September 2017:
- Roxana Fernandez (PhD, Tilburg) is working in empirical industrial organization, with a particular focus on the effect of entry on competition.
- Benoît Schmutz (PhD, Aix-Marseille) is working on urban and labor economics, with a special interest on the effect of spatial frictions.
We hope that Roxana and Benoît as well as all our visitors, will enjoy the CREST new environment!
Le négationnisme économique
Ouvrage nominé pour le Grand prix Turgot 2017, du meilleur livre d’économie financière
Des remèdes miracles comme la baisse des impôts, l’augmentation des dépenses publiques, l’arrêt de l’immigration, la semaine de 32 heures, la réindustrialisation des territoires, ou encore la taxation des transactions financières sont censés nous guérir sans coût de tous nos maux.
Ces contre-vérités rabâchées à l’envi par les médias portent un nom : le négationnisme économique. À l’origine de choix stratégiques, il nous appauvrit et se traduit par des millions de chômeurs.
Or aujourd’hui on ne peut affirmer tout et son contraire, car l’économie est devenue une science expérimentale fondée sur une analyse rigoureuse des faits. Cette révolution méconnue produit des connaissances qui heurtent souvent de plein fouet les croyances et les intérêts des grands patrons, des syndicalistes, des intellectuels et des politiques. Ils font tout pour semer le doute, même sur les vérités les plus établies.
Débusquer le négationnisme économique, tel est l’objet du présent ouvrage. Pour arrêter de perdre notre temps avec des débats déjà tranchés et ne pas nous laisser berner par les impostures et la démagogie.
Les auteurs
Pierre Cahuc est professeur à l’Ecole Polytechnique, chercheur au CREST et membre du Conseil d’analyse économique.
André Zylberberg est directeur de recherche émérite au CNRS, membre du Centre d’économie de la Sorbonne et de l’Ecole d’économie de Paris.
Three former CREST PhD students won a prize for their PhD thesis
Three former Crest PhD students, Andreea Enache, Manon Garrouste, and Arnaud Philippe have receive a prize from the Chancellerie des Universités de Paris for their PhD thesis.
Each year, the Chancellerie rewards the academic and scientific quality of PhD theses in diverse fields, defended in the twelve previous months in universities from the region.
Les Prix de la chancellerie des universités de Paris
Près de 60 prix à de jeunes chercheurs
Chaque année, 50 jeunes docteurs de toutes nationalités, issus des 17 universités et de 6 grands établissements d’enseignement supérieur d’Île-de-France, se voient récompensés d’un prix de 10 000 euros pour l’excellence de leurs travaux de recherche en droit, économie et gestion, médecine, sciences, lettres et sciences humaines et pharmacie.
À ces 50 prix solennels s’ajoutent 5 prix de thèse en droit privé « André Isoré » de 2 000 euros chacun et 12 prix honorifiques en droit, économie et gestion.
La désignation des lauréats s’effectue en deux temps : d’une part à l’issue d’un premier choix effectué par les établissements, d’autre part à l’issue du choix de l’un des 26 jurys spécialisés par discipline et par prix, chaque prix reposant sur un ou plusieurs legs. Une centaine d’enseignants chercheurs désignés par leur université ou par leur établissement ainsi que des membres de l’institut ou des représentants des grands corps de l’État composent les jurys.
En 2016, par décision des jurys, 48 prix solennels, 6 prix de thèse et 5 prix honorifiques ont été attribués.
Andreea ENACHE
Directeurs de thèse : Jean-Pierre FLORENS et David MARTIMORT
École des hautes études en sciences sociales
Econométrie structurelle de la théorie des jeux.
L’objet de ma thèse est l’étude des deux classes de modèles économétriques issus de la théorie des jeux stochastiques en information incomplète : les enchères et les modèles de la théorie des contrats. Je m’intéresse aux « problèmes inverses » qui apparaissent dans ces situations économiques où l’on cherche à déduire la nature d’un objet ou d’un phénomène à partir des observations de ses effets.
Cultivant un vif intérêt pour les mathématiques, et étant également fascinée par la complexité des interactions humaines, il m’a semblé naturel de m’orienter vers l’économie pour mes travaux de recherche.
Manon GARROUSTE
Directeurs de thèse : Francis KRAMARZ et Nicolas JACQUEMET
Université Paris 1 Panthéon-Sorbonne
Ressources scolaires et réactions individuelles. Trois essais en économie de l’éducation.
Parce qu’il est difficile d’agir directement sur les comportements des individus en matière d’éducation, la plupart des politiques éducatives sont mises en place à un niveau agrégé ; au niveau d’un ensemble d’établissements scolaires, ou d’une zone géographique par exemple, mais sans nécessairement anticiper les réponses des individus à ces dispositifs. L’objectif de ma thèse est de comprendre comment les individus réagissent à ces politiques éducatives, et, ce faisant, d’en évaluer correctement l’efficacité.
Mon intérêt pour les sciences sociales et mes études m’ont conduite vers la recherche et l’enseignement en économie, héritage familial dont je suis très fière. Mon père était, lui aussi, enseignant-chercheur en économie. Je souhaite ici lui rendre hommage.
Je tiens à remercier le Groupe des écoles nationales d’économie et statistique d’avoir financé cette thèse. Je remercie également le laboratoire de microéconométrie du Centre de recherche en économie et statistique, le laboratoire de microéconomie du Centre d’économie de la Sorbonne, ainsi que l’unité démographie et économie de l’Institut national d’études démographiques pour leur accueil.
Au cours de cette thèse, j’ai bénéficié des financements Labex Ecodec Investissements d’Avenir ANR-11-IDEX-0003/Labex Ecodec/ANR-11-LABX-0047 et Labex iPOPs ANR-l0-LABX-0089.
Arnaud PHILIPPE
Directeurs de thèse : Bruno CREPON et Roberto Galbiati
Université Paris 1 Panthéon-Sorbonne
Three essays on the effect of information in criminal justice.
Mon travail de thèse est consacré à l’effet de l’information sur la justice pénale. Je m’y intéresse à la compréhension que les condamnés ont de la loi pénale, à l’impact des médias sur les peines, et à l’effet du marché du travail sur la réinsertion des condamnés.
Je me suis tourné vers l’économie après des débuts en biologie pour aborder des questions sociales avec des outils quantitatifs et une démarche hypothético-déductive.
Je voudrais remercier le CREST, mon laboratoire de thèse, ainsi que le service de la SDSE du ministère de la Justice.
Plus de marché pour plus d’Etat !
Ouvrage nominé pour le Grand prix Turgot 2017, du meilleur livre d’économie financière
« Ma conviction profonde est que la puissance publique est encore fondée à intervenir, notamment pour protéger légitimement face aux risques ou aux attaques déloyales, pour réduire les inégalités, pour lutter contre les injustices. Pour accompagner le changement. Elle doit en revanche rénover ses modes et ses champs d’intervention. Francis Kramarz et Philippe Tibi dessinent dans cet ouvrage les lignes de crête de cette nouvelle gouvernance. » (extrait de la préface)
Emmanuel Macron
La fonction essentielle du marché est de « dire le prix » en confrontant l’offre et la demande. Dans une économie de marché, les signaux de prix guident l’allocation des ressources. Dans la patrie de Colbert, cette conception heurte l’idéologie dominante. En théorie, les prix ont été libérés en 1987. En réalité, les « faux prix » abondent : le salaire minimum, l’immobilier dopé par les allocations logement et les niches fiscales tandis que les taux garantis à l’épargne entretiennent l’illusion du rendement sans risque. Quant aux prix réglementés de l’énergie…
L’interventionnisme de l’État a des conséquences très négatives : chômage massif des personnes non qualifiées, crise du logement dans les métropoles, assèchement des circuits de financement de l’innovation et coût écrasant des politiques palliatives. Les Français jugent sévèrement son incapacité à trouver des solutions.
L’État est en réalité confronté à une triple impasse. Stratégique : il n’est plus maître du destin des champions nationaux. Financière : ses comptes délabrés lui interdisent de préparer l’avenir. Intellectuelle : il ne perçoit pas son impuissance et sa perte de souveraineté. C’est paradoxalement le recours aux solutions du marché qui peut trancher ce noeud gordien.
L’élargissement de la place du marché améliorera le bien-être collectif et renforcera l’autorité de l’État. Il le confortera dans son rôle de garant de la cohésion sociale et de maître d’oeuvre du récit national, tout en lui restituant des marges de manoeuvre financières. Le marché, quant à lui, est une technique efficace, mais il n’a nullement vocation à constituer un projet de société.
Cet essai ouvre le débat en proposant une réflexion originale sur le couple État/marché, fondée sur des travaux académiques internationaux. Les auteurs utilisent les exemples du travail, du logement et de l’innovation afin de présenter des solutions économiques et une vision nouvelle de la gouvernance… pour sortir résolument de l’impasse.
Préface d’Emmanuel Macron
Pour en savoir plus
- Ecoutez l’émission “On n’arrête pas l’éco” d’Alexandra Bensaid sur France Inter: ” Plus de marché pour plus d’état ! ” de Philippe Tibi et Francis Kramarz “meilleur livre d’économie politique de l’année !” pour Emmanuel Lechypre. Écoutez l’émission
- Rencontre avec les auteurs. Mercredi 5 octobre 2016, à l’occasion de la sortie de l’ouvrage, Philippe Tibi et Francis Kramarz ont synthétisé les éléments marquants du livre et proposé une réflexion originale sur le couple Etat/Marché. Le débat était animé par Fabrice Lundy, journaliste BFM. Voir les photos de la Rencontre.
- Feuilletez quelques pages de Plus de marché pour plus d’Etat ! sur notre Bibliothèque numérique de la banque et de la finance.
Les auteurs
Philippe Tibi est fondateur de Pergamon Campus et professeur d’économie à l’École polytechnique et à l’UIBE Pékin. Jusqu’en 2012, il présidait les marchés actions, la banque d’investissement et le groupe UBS en France. Il a été président de l’Amafi de 2007 à 2014. Philippe Tibi répond, avec Pierre de Lauzun, à Pascale-Marie Deschamps dans le livre d’entretien Les marchés font-ils la loi ?
Francis Kramarz est directeur du Centre de recherche en économie et statistique (CREST). Professeur à l’ENSAE et professeur associé à l’École polytechnique, il a publié une centaine d’articles scientifiques dans des revues internationales sur l’emploi, les salaires, la concurrence, le commerce international. Il a été élu fellow de l’Econometric Society.