深度学习

[ahangchen]

可以在这里讨论深度学习相关问题

[tzengwei]

就我一个吗？

[ahangchen]

@tzengwei 暂时是酱:smile:

[gzbin365]

刚刚学了CNN，打算再看看RNN，希望楼主提供一些关于RNN/LSTM的论文，其他干货也可以啊^_^

[chenjun0210]

你好，楼主，运行你的seq2seq 程序，报错，如下
ImportError: No module named not_mnist.img_pick

[ahangchen]

@chenjun0210 如果使用pycharm，需要把src目录设置为source directory，才能找到not_mnist包下的代码

[chenjun0210]

我直接把你的工程下载到linux上，然后直接python seq2seq.py 执行，然后就出现我上面提到的错误。
我刚用pycharm，这个必须在linux安装的吧，然后把你的项目导入进来之后。设置src 为源目录就可以了是吗？tensorflow也可以直接用是吗？包括程序的debug都可以是吗？我之前用ipython notebook看程序。看感觉你这种方式更方便调试。谢谢，貌似是可以了。

[ahangchen]

@chenjun0210
需要先安装tensorflow，否则直接import tensorflow会出错的，

因为直接运行python seq2seq.py的时候，源代码目录就相当于是在rnn这个目录下了
可以试一下cd 到src目录下，然后

 /home/cwh/.conda/envs/tensorflow/bin/python convnet/conv_mnist.py

其中

 /home/cwh/.conda/envs/tensorflow/bin/python

是安装了tensorflow的python的路径

[chenjun0210]

恩恩，好的，非常感谢啊。我尝试用pycharm运行吧，方便调试开发。

[ahangchen]

@GuZhebin http://colah.github.io/posts/2015-08-Understanding-LSTMs/
可以看下这个LSTM的文章，写的很好

[yangkun1993]

大神能不能看一下这个错误是怎么回事/?
函数代码：

def _generate_image_and_label_batch(image, label, min_queue_examples, batch_size, shuffle):
    num_preprocess_threads = 10
    if shuffle:
        images, label_batch = tf.train.shuffle_batch(
            [image, label],
            batch_size = batch_size,
            num_threads = num_preprocess_threads,
            #capacity = min_queue_examples,
              capacity = min_queue_examples + 3 * batch_size,
            min_after_dequeue = min_queue_examples
                )
    else:
        images, label_batch = tf.train.batch(
            [image, label],
            batch_size = batch_size,
            num_threads = num_preprocess_threads,
              #capacity = min_queue_examples,
            capacity = min_queue_examples + 3 * batch_size
              )
    #Display the training images in the visualizer
    tf.image_summary('images', images)
    return images, tf.reshape(label_batch, [batch_size])

tensorflow.python.framework.errors.OutOfRangeError: FIFOQueue '_2_batch/fifo_queue' is closed and has insufficient elements (requested 40, current size 0)
     [[Node: batch = QueueDequeueMany[component_types=[DT_FLOAT, DT_INT32], timeout_ms=-1, _device="/job:localhost/replica:0/task:0/cpu:0"](batch/fifo_queue, batch/n)]]
Caused by op u'batch', defined at:
  File "/home/yang/recognition/train.py", line 109, in <module>
    tf.app.run()
  File "/home/yang/.local/lib/python2.7/site-packages/tensorflow/python/platform/app.py", line 30, in run
    sys.exit(main(sys.argv))
  File "/home/yang/recognition/train.py", line 106, in main
    train()
  File "/home/yang/recognition/train.py", line 34, in train
    images, labels = inference.distorted_inputs()
  File "/home/yang/recognition/inference.py", line 93, in distorted_inputs
    return input_data.distorted_inputs(data_dir=data_dir, batch_size=FLAGS.batch_size)
  File "/home/yang/recognition/input_data.py", line 116, in distorted_inputs
    return _generate_image_and_label_batch(float_image, read_input.label, min_queue_examples, batch_size, shuffle=False)
  File "/home/yang/recognition/input_data.py", line 59, in _generate_image_and_label_batch
    capacity = min_queue_examples + 3 * batch_size
  File "/home/yang/.local/lib/python2.7/site-packages/tensorflow/python/training/input.py", line 544, in batch
    dequeued = queue.dequeue_many(batch_size, name=name)

[ahangchen]

@yangkun1993 有点像是你的数据集有问题，image可能是空的（看第一行的size 0），然后在执行batch的时候batch_size 为40大于0，所以报out of range

[tyr2000]

请问udacity的deep learning中Lenet5模型有实现吗？最近在对照你的代码学习这个课程，作业做到Lenet5的地方卡住了

[ahangchen]

@tyr2000 Lenet5的模型跟我的代码里的cnn部分很像，都是卷积层套pool套mlp，只不过具体超参数可以自己调整，可以参考Lesson3的代码看看

[tyr2000]

谢谢，我还没有看lesson3. 有问题再想你请教

[sunxiaobiu]

@ahangchen 请教大神：
https://github.com/sherjilozair/char-rnn-tensorflow/blob/master/model.py
这个项目里，weight的更新算法是:

def weighted_pick(weights):
            t = np.cumsum(weights)
            s = np.sum(weights)
            return(int(np.searchsorted(t, np.random.rand(1)*s)))

请问，是否可以用 beam search 来优化呢？如果可以的话，beam search 要怎么实现呢？有没有相关的例子？求助~~~