English
管理与服务机构
mg4355党委办公室、校长办公室 纪律检查委员会办公室(监察处) 党委组织部 党委党校 党委宣传部(资讯办公室) 党委统战部 党委学生工作部 人民武装部 机关党委 财院校区党工委 离退休处党委 校工会 共青团mg4355委员会 发展规划办 教务处 现代工程训练中心 研究生院 学生工作处 招生与就业引导处 科学技术研究院 社会科学处 人力资源处 人才工程办公室 计划财务处 资产管理中心 国际合作交流处 监察处 审计处 实验室建设与设备管理处 后勤与房地产管理处 基本建设处 离退休处 保卫处(综合治理办公室) 法律事务办公室 档案与校史馆 财院校区管委会 校友工作办公室 校园信息化建设与管理办公室 图书馆 远程与继续教育学院 mg4355空军选培办 两型社会研究院 mg4355超级计算中心 mg4355互联网信息服务研究中心 资产经营有限企业 mg4355出版社有限责任企业 mg4355期刊社 后勤服务总企业 校医院 人口和计划生育办 普教中心
教育与研究机构
机械与运载工程学院 电气与信息工程学院 材料科学与工程学院 信息科学与工程学院 建筑学院 环境科学与工程学院 土木工程学院 设计艺术学院 化学化工学院 生物学院 数学与计量经济学院 物理与微电子科学学院 经济与贸易学院 金融与统计学院 工商管理学院 法学院(政治与公共管理学院) 马克思主义学院 资讯传播与影视艺术学院 教育科学研究院 体育学院 中国语言文学学院 岳麓书院 外国语学院 国家高效磨削工程技术研究中心 汽车车身先进设计制造国家重点实验室 化学生物传感与计量学国家重点实验室 经济管理研究中心 机器人学院
校园生活
当前位置: mg4355 >> 校园生活 >> 学术活动 >> 学院讲座 >> 正文
统计数据 / lectrue notice
  • 排序 学院 发文量
    1 机械与运载工程学院 118
    2 物理与微电子科学学院 103
    3 岳麓书院 101
    4 化学化工学院 97
    5 数学与计量经济学院 50
    6 材料科学与工程学院 45
    7 土木工程学院 42
    8 建筑学院 40
    9 经济与贸易学院 38
    10 电气与信息工程学院 33
  • 排序 学院 发文量
    11 信息科学与工程学院 30
    12 工商管理学院 28
    13 生物学院 18
    14 法学院 15
    15 外国语学院 15
    16 教务处 14
    17 资讯传播与影视艺术学院 8
    18 研究生院 7
    19 经济与管理研究中心 6
    20 马克思主义学院 5
    21 中国语言文学学院 4
信科院:Training Large Neural Networks with Small Network Footprint
学术地点 App大楼106室 主讲人 Hong Xu
讲座时间 2018.10.25 16:20

Title: Training Large Neural Networks with Small Network Footprint

Time:2018.10.25 Thursday 16:20

Place:Room 106,Software Building

Abstract:

Distributed machine learning (ML) systems using parameter servers are prevalently used in industry. With the rapid development of GPU, training performance is usually bottlenecked at network communication for exchanging gradients and parameters.

In this talk, I will share our work on how to alleviate the communication bottleneck and speed up distributed ML training. First I will motivate the problem with measurements on GPU clusters in Azure and EC2. Then I will share the design and implementation of our solution, a system called Stanza that separates the training of different layers in ML models, by exploiting their distinct characteristics. A prototype of Stanza is implemented on PyTorch. Our evaluation on Azure and EC2 shows that Stanza provides 1.25x to 13x speedups over parameter server, for training common CNNs on ImageNet with Nvidia V100 GPUs and 10GbE network.

Bio:

Hong Xu is an assistant professor in Department of Computer Science, City University of Hong Kong. His research area is computer networking, particularly data center networks and big data systems. He received the B.Eng. degree from The Chinese University of Hong Kong in 2007, and the M.A.Sc. and Ph.D. degrees from University of Toronto in 2009 and 2013, respectively. He was the recipient of an Early Career Scheme Grant from the Hong Kong Research Grants Council in 2014. He received several best paper awards (ACM TURC 2017 (Sigcomm China), IEEE ICNP 2015, etc.). He is a member of ACM and IEEE.

上一条:物电院:科学、物理、数学
下一条:信科院:Massively Parallel A* Search on a GPU

mg4357电子娱乐官网
mg4357电子娱乐微信
mg4357电子娱乐微博
XML 地图 | Sitemap 地图