深度学习有趣的应用

短材料

  • 用深度学习帮助辨别农业植物病虫害

  • 格林深瞳的视觉应用包括:车辆型号识别,人脸视频,运动轨迹检测,人体检测识别,运动密度识别,第一次看的时候,特别震撼.特别的,这而且是一家国内的公司

  • 深度学习googletensorflow在2017年做的官方宣传,里面有深度学习大量的应用实例
  • YOLO物体识别,在电影中的应用
  • 肢体动作结构,在真正的街舞训练,或者动作矫正的时候,很有用

演讲,书和讲座

  • YOLO发明者介绍物体识别的发展流程ted演讲
  • 可口可乐公司用摄像头识别瓶盖中的兑奖码
  • 给视频配音,案例中,使用的是用棍子敲打桌面,和草地
  • 语音合成音乐,有时候能让你分辨不出来,竟然是合成的
  • deepdream一种让你迷失到起鸡皮疙瘩的有趣视频
  • 你可以在台湾大学的这个演讲视频(1:24:19)中找到一些应用
  • 总结的深度学习的30个应用案例
  • 这个视频,你能了解深度学习的硬件TPU
  • 大数据在各行业的应用的书,书中有提到政务,学校,商业,个人中的案例使用

为什么梯度需要用迭代法计算很多次

  • 梯度下降法维基百科
  • 迭代次数,是一个超参数,把整个数据集迭代一次,相当与一次梯度下降,在计算最小参数的时候,需要多次梯度下降,所以当然需要多个epochs.
  • 为什么需要多个 minibatch 呢?由于数据集有可能太大了,以致于无法直接放入内存,所以要把一个数据集,拆分为多个 mini batch
  • 你也可以从Quora中找到相应的解释,摘抄的内容在下面

In Deep Learning, an epoch is a hyperparameter which is defined before training a model. One epoch is when an entire dataset is passed both forward and backward through the neural network only once.

One epoch is too big to feed to the computer at once. So, we divide it in several smaller batches. We use more than one epoch because passing the entire dataset through a neural network is not enough and we need to pass the full dataset multiple times to the same neural network. But since we are using a limited dataset and to optimise the learning and the graph we are using Gradient Descent which is an iterative process. So, updating the weights with single pass or one epoch is not enough.

A batch is the total number of training examples present in a single batch and an iteration is the number of batches needed to complete one epoch.

For example: If we divide a dataset of 2000 training examples into 500 batches, then 4 iterations will complete 1 epoch.

为什么ReLU函数管用

  • 线性函数+线性函数=线性函数
  • 非线性函数+非线性函数=非线性函数
  • 线性函数+非线性函数=非线性函数
  • medium参考链接表明,任何函数,都可以用ReLU来近似,你可以在这个视频中了解到一个局部,结合这个更容易理解,视频中表明,最简单的Step Function都能近似任何曲线,当更多的隐藏层,更能近似的替代了
  • 决策树上每个节点,相当于深度学习中对一个属性上,做的一次线性分类器