Accueil du siteSanté & Sciences
Computer reads anyone’s lips in a variety of languages
jeudi 8 février 2007
par adi
George Bush Snr may not have been as quotable as his son, but the now-famous soundbite, ’Read my lips : no new taxes’, probably helped him win the presidency. He knew voters would get the message loud and clear if they used their eyes and ears together to work out what he was saying.

Now, Dr Richard Harvey of the University of East Anglia and colleagues are conceiving computers with similar skills — to read anyone’s lips in a variety of languages.

Camera links They have won a grant from the EPSRC for a three-year project to automate language- independent lip-reading by linking new algorithms to camera systems such as web cams and CCTV.

’There’s no way we could do African click and whistle languages or Chinese and Japanese,’ admitted Harvey. ’But we hope to do a selection of European languages and standard modern Arabic.’ These rank highly among the top 20 spoken globally.

There are numerous potential commercial applications for the technology. In-car speech recognition systems start failing as soon as the microphone picks up other sounds, from the stereo or through open windows. A lip-reading camera on the dashboard would help and has already been investigated by Siemens.

A similar camera built into a mobile phone handset could understand speech more accurately and so pre-process the audio to send a cleaner signal.

’The grant has been awarded under the crime-fighting initiative and the Home Office Scientific Development Branch is giving us a lot of help and expertise,’ said Harvey. ’Lip-reading from surveillance footage, for example, has been used to solve crimes. In some situations it may not be safe or feasible to place a microphone close enough to hear voices, but a long-range camera might still be able to see faces.’

Harvey and his team have carried out preliminary work and know some of the challenges they face. ’We have to track the head accurately over a variety of poses then extract numbers, or features, that describe the lips and then learn what features correspond to what text,’ he said.

That is why he has teamed up with Dr Richard Bowden and colleagues at the Centre for Vision, Speech & Signal Processing at Surrey University. ’One of the deficiencies of our previous system was that we had to track the head by hand,’ said Harvey. ’Richard Bowden is an expert on tracking people and will work on knowing where the head is in the frame. Then we plan to find the lip region and extract the features.’ This would be a first in the development of computerised lip-reading technology.

Having programmed the computer to recognise lips whichever way the head is tilted and moving, more software will have to watch and recognise their fast and subtle movements. Two approaches, called ’active shape model’ and ’grey-scale sieving’, will be combined to track the changes in the shape of the lips.

’We’re also going to do some work on language identification. It’s not been tackled before,’ said Harvey.

Unpredictable speech But why go to all this trouble when humans can lip-read, as everybody who has ever held a conversation in a noisy bar or at a party can testify ? ’Almost everyone who claims they are an expert lip-reader actually has terrible performance,’ said Harvey. ’Even so-called trained lip-readers can’t do speech that is unpredictable, even though it may be syntactically correct.

’Having said that, there are a few star performers out there who are often used for forensic purposes. The man who did the lip-reading of the silent footage of Hitler was amazing. You needed to have a special background and do it with an enormous amount of care and concentration.’

Another reason is the fall in the number of people who have the skill. ’The number of trained lip-readers is diminishing,’ said Harvey. ’The really skilful people are the ones who learned very early on, who had learned to speak a language before they lost their hearing and had not been taught to sign but had been taught lip-reading intensively.’

This set of circumstances will become less common as signing grows in popularity.

It is not realistic to expect Harvey, Bowden and their colleagues to have perfected a system that can monitor the screens at any European airport and understand every passenger’s utterances by the end of the project.

’We hope to have produced a system that will demonstrate the ability to lip-read in more general situations than we have done so far,’ said Harvey. ’And we’ll get some definitions of the boundaries of performance.’ Max Glaskin

Websites :
- The Engineer :
- University of East Anglia :
- Surrey University :


Répondre à cet article
Articles de cette rubrique
  1. Don de 500 millions de dollars de Bill & Melinda Gates
    9 août 2006

  2. XVIe Congrès international sur le SIDA
    15 août 2006

  3. Sida - On se soigne en Afrique subsaharienne
    16 août 2006

  4. On étudie les flatulences des vaches
    22 août 2006

  5. Déchets toxiques d’Abidjan, une enquête du PNUD
    8 septembre 2006

  6. Des vaccins pour 3,5 millions d’enfants d’Ethiopie, Somalie, Kenya et de Djibouti
    8 septembre 2006

  7. Une centrale d’achat de médicaments pour les pays pauvres
    19 septembre 2006

  8. Lancement du partenariat mondial sur les bioénergies
    25 septembre 2006

  9. Madonna visite ses chantiers au Malawi
    4 octobre 2006

  10. Produits pharmaceutiques et biopharmaceutiques
    18 octobre 2006

  11. Révolution dans le monde des céréales
    24 octobre 2006

  12. VIH/Sida : Le Canada versera 120 millions de dollars
    1er décembre 2006

  13. Vaincre la pandémie du VIH/Sida
    1er décembre 2006

  14. De nouveaux vaccins contre le cancer du col de l’utérus
    14 décembre 2006

  15. Barcelone : Maman à 67 ans
    1er janvier 2007

  16. Oxford University researchers : Blacks & whites, common ancestor
    20 janvier 2007

  17. Africa Technology : cellphones as a walkie-talkie.
    20 janvier 2007

  18. Dental Researchers Test No-Needle Anesthesia, No-Drilling Cavity Care
    26 janvier 2007

  19. La Bavière et le Québec, main dans la main
    1er février 2007

  20. Le 1er véhicule à atteindre 7 KM en eau profonde est chinois
    2 février 2007

  21. Plus de 9 milliards d’euros pour les technologies de l’information
    5 février 2007

  22. Computer reads anyone’s lips in a variety of languages
    8 février 2007

  23. Grippe aviaire : La FAO, attention aux chats
    8 février 2007

  24. Dépister le cancer de la prostate avant qu’il ne se propage
    15 février 2007

  25. Le Canada et Bill Gates, main dans la main pour lutter contre le VIH/SIDA
    20 février 2007

  26. Scientists Discover New Compound That Kills Drug-Resistant Malaria
    2 mars 2007

  27. URINOTHERAPIE : L’urine, de multiples vertus ?
    2 mars 2007

  28. La santé en bonne santé
    5 avril 2007

  29. Les surplus de médicaments offerts aux pays en développement
    11 avril 2007

  30. VIH Sida : Le test oral 100% précis
    12 avril 2007

  31. WiPeer, for direct communication Between computers
    16 avril 2007

  32. Who is Dr. Hideyo Noguchi ?
    26 avril 2007

  33. Background of the Prize and future events
    26 avril 2007

  34. "Hideyo Noguchi Africa Prize" - (FACT SHEET)
    26 avril 2007

  35. Hideyo Noguchi Prize for Africa
    26 avril 2007

  36. Le 1er satellite africain sur orbite, grâce à la Chine
    15 mai 2007

  37. FDA : New oral contraceptive approved
    25 mai 2007

  38. Attention danger : Jus de raisins pétillant « Manischewitz Sparkling Concord
    26 mai 2007

  39. La calcification décortiquée
    14 juin 2007

  40. Un nouveau plan de l’OMS contre la tuberculose
    22 juin 2007

  41. L’acide folique utile aux femmes enceintes
    12 juillet 2007

  42. OUF, 4 périodes de règles par an au lieu de 13 ou 14
    17 juillet 2007

  43. VIH/SIDA, bientôt vaincu
    8 août 2007

  44. Une Suédoise guérie d’un cancer par des tradipraticiens Congolais
    24 août 2007

  45. Santé Canada met en garde les Canadiens contre les risques d’exposition au plomb chez les enfants
    6 septembre 2007

  46. Rappel des tirettes de fermeture éclair et des breloques pour cellulaires
    7 septembre 2007

  47. Sida : nouvelles armes, nouvelle approche
    25 septembre 2007

  48. Data-transfer and near field detection through skin
    9 octobre 2007

  49. Functional genomics of colon and kidney carcinomas
    12 octobre 2007

  50. Nobel Prize Announcements 2007
    15 octobre 2007

  51. Des Excréments humains guérissent plus de 90 % des patients de la bactérie C. difficile
    15 novembre 2007

  52. Multi-reservoir device for detecting a soluble cancer biomarker
    21 novembre 2007

  53. Fungus compounds may slow prostate cancer
    13 décembre 2007

  54. Une règlementation spécifique sur les piercings et tatouages
    12 janvier 2008

  55. Prime de 35 dollars mensuels pour améliorer l’alimentation des fonctionnaires séropositifs
    12 janvier 2008

  56. Le lard et les œufs, des effets bénéfiques au cholestérol
    12 janvier 2008

  57. Grossesse : Le prélèvement sanguin remplace le test d’amniocentèse
    17 janvier 2008

  58. Fungus compounds may slow prostate cancer
    19 janvier 2008

  59. Génétique : Éradiquer les maladies héréditaires
    15 février 2008

  60. Les bébés de pères adolescents courent davantage de risques
    23 février 2008

  61. A new two-punch strategy against HIV successfully tested in the laboratory
    15 mars 2008

  62. Brilliance iCT, a clear 3D images of an entire organ, including the heart and brain
    29 avril 2008

  63. Use a mobile phone to view a PC screen
    24 mai 2008

  64. The blind can see
    29 mai 2008

  65. Première transplantation mondiale de deux bras entiers en Allemagne
    1er août 2008

  66. Une femme de 59 ans donne naissance à des triplés à Paris
    9 septembre 2008

  67. Rire, c’est bon pour la santé !
    19 novembre 2008

  68. La Puberté à 8 ans
    24 novembre 2008

  69. Eau embouteillée : Quel est le meilleur choix ?
    4 décembre 2008

  70. Des patients aveugles recouvrent la vue après de longues années de cécité
    11 décembre 2008

  71. La télévision de demain, reliée à internet mettra KO l’ordinateur
    12 janvier 2009

  72. Egyptian Scientist Discovers Bacteria to Purify Sewage in Seven Minutes
    1er février 2009

  73. SantéVIH/sida : Indétectable après transplantation
    2 mars 2009

  74. Soudan : Libération des otages de MSF-Belgique
    14 mars 2009

  75. Les premières marches du nourrisson de ... 3 jours
    27 mars 2009

  76. Transplantation cardiaque : Kaylee défie les pronostics
    8 avril 2009

  77. VIH/Sida : Le préservatif n’est pas la solution"
    21 avril 2009

  78. Toronto : Chirurgie cardiaque réussie sur un fœtus
    8 mai 2009

  79. Santé : Sacs et bacs d’épicerie réutilisés, source de bactéries, virus ou parasites causant des maladies d’origine alimentaire
    25 juin 2009

  80. Lutte contre le sida : Deux vaccins africains à l’essai
    24 juillet 2009

  81. Santé (Fertilité) : Faites l’amour...
    30 juin 2009

  82. Appendicite : Un diagnostic grâce à l’urine ?
    10 août 2009

  83. L’Urine améliore la production du manioc et de l’igname
    19 septembre 2009

  84. Peut-on connaître le passé judiciaire de son médecin ?
    18 décembre 2009

  85. Que fera la France de ses vaccins contre la grippe A(H1N1) ?
    24 décembre 2009

  86. Test d’ADN : Deux jumeaux qui n’ont pas le même père
    14 février 2010

  87. L’Ivoirien Didier Yapi inventeur de « Dead Cryptor », pour l’encryptage des VCD et DVD
    10 juin 2010

  88. Tremblement de terre de magnitude 5 : Ontario, Québec et dans le centre et l’est des États-Unis
    23 juin 2010

  89. En hommage à un éminent Professeur - Échimane Kouassi Antoine
    24 juin 2010

  90. Des chercheurs israéliens font de progrès dans le traitement du sida
    5 septembre 2010

  91. Canada - Droits du foetus : un député conservateur tente de relancer le débat aux Communes
    7 février 2012

  92. Combat de boxe au Canada : De vrais coups de poing entre un Sénateur et un Député pour sauver les malades du cancer
    31 mars 2012

  93. Les deux politiciens boxeurs d’un soir ont amassé 200 000 $ pour la recherche contre le cancer
    2 avril 2012

  94. USA : Supreme Court Upholds President Obama’s Health Care Reform
    28 juin 2012

  95. Pétition : Protégeons les femmes
    6 août 2012

  96. Premières transplantations d’utérus de mère à fille
    18 septembre 2012

  97. De l’URES de Korhogo à l’Université de Korhogo
    3 novembre 2012

  98. Gatineau (Québec) : La doyenne de la communauté haïtienne de Gatineau a 105 ans
    9 février 2013

  99. Une banque de lait maternel ouvre ses portes au Québec
    8 avril 2014

  100. Gatineau, Québec : Docteur Peter Pang, nous te disons MERCI et bonne retraite
    29 octobre 2014

  101. Résultats préliminaires : Un premier vaccin prometteur contre l’Ebola
    26 novembre 2014

  102. Appel à candidature pour le recrutement d’une institution de formation de l’institut de cardiologie de Bouaké
    2 février 2016

  103. 3,000 HIV-negative candidates for HIV vaccine clinical trial
    15 mars 2007

  104. 30 après, l’OMS ressuscite le DDT pour vaincre le paludisme
    15 septembre 2006