python – 在Tensorflow的数据集API中,如何将一个元素映射到多个元素?
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python – 在Tensorflow的数据集API中,如何将一个元素映射到多个元素?,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含2177字,纯文字阅读大概需要4分钟。
内容图文
![python – 在Tensorflow的数据集API中,如何将一个元素映射到多个元素?](/upload/InfoBanner/zyjiaocheng/705/6b8d5473a09744619b2f8e74fa63fe7e.jpg)
在张量流数据集管道中,我想定义一个自定义映射函数,它接受一个输入元素(数据样本)并返回多个元素(数据样本).
下面的代码是我的尝试,以及期望的结果.
我无法完全按照tf.data.Dataset().flat_map()上的文档来了解它是否适??用于此处.
import tensorflow as tf
input = [10, 20, 30]
def my_map_func(i):
return [[i, i+1, i+2]] # Fyi [[i], [i+1], [i+2]] throws an exception
ds = tf.data.Dataset.from_tensor_slices(input)
ds = ds.map(map_func=lambda input: tf.py_func(
func=my_map_func, inp=[input], Tout=[tf.int64]
))
element = ds.make_one_shot_iterator().get_next()
with tf.Session() as sess:
for _ in range(9):
print(sess.run(element))
结果:
(array([10, 11, 12]),)
(array([20, 21, 22]),)
(array([30, 31, 32]),)
期望的结果:
(10)
(11)
(12)
(20)
(21)
(22)
(30)
(31)
(32)
解决方法:
为实现这一目标,还需要两个步骤.首先,map函数需要返回一个numpy数组,而不是一个列表.
然后你可以使用flat_map和Dataset().from_tensor_slices()来展平它们.下面的代码现在产生了所需的结果:
在Tensorflow 1.5中测试(复制/粘贴可运行的示例)
import tensorflow as tf
import numpy as np
input = [10, 20, 30]
def my_map_func(i):
return np.array([i, i + 1, i + 2])
ds = tf.data.Dataset.from_tensor_slices(input)
ds = ds.map(map_func=lambda input: tf.py_func(
func=my_map_func, inp=[input], Tout=[tf.int64]
))
ds = ds.flat_map(lambda x: tf.data.Dataset().from_tensor_slices(x))
element = ds.make_one_shot_iterator().get_next()
with tf.Session() as sess:
for _ in range(9):
print(sess.run(element))
如果要返回多个变量,这是一个执行此操作的方法,在此示例中,我输入一个字符串(如文件名)并输出字符串和整数的倍数.在这种情况下,我为[10,20,30]的每个整数重复字符串.
复制/粘贴runnable示例:
import tensorflow as tf
import numpy as np
input = [b'testA', b'testB', b'testC']
def my_map_func(input):
return np.array([input, input, input]), np.array([10, 20, 30])
ds = tf.data.Dataset.from_tensor_slices(input)
ds = ds.map(map_func=lambda input: tf.py_func(
func=my_map_func, inp=[input], Tout=[tf.string, tf.int64]))
ds = ds.flat_map(lambda mystr, myint: tf.data.Dataset().zip((
tf.data.Dataset().from_tensor_slices(mystr),
tf.data.Dataset().from_tensor_slices(myint))
))
element = ds.make_one_shot_iterator().get_next()
with tf.Session() as sess:
for _ in range(9):
print(sess.run(element))
内容总结
以上是互联网集市为您收集整理的python – 在Tensorflow的数据集API中,如何将一个元素映射到多个元素?全部内容,希望文章能够帮你解决python – 在Tensorflow的数据集API中,如何将一个元素映射到多个元素?所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。