【《手把手陪您学Python》35——数据的存储】教程文章相关的互联网学习教程文章

吴裕雄--天生自然 pythonTensorFlow图形数据处理:图像预处理完整样例【代码】【图】

import numpy as np import tensorflow as tf import matplotlib.pyplot as plt#随机调整图片的色彩,定义两种顺序。 def distort_color(image, color_ordering=0):if color_ordering == 0:image = tf.image.random_brightness(image, max_delta=32./255.)image = tf.image.random_saturation(image, lower=0.5, upper=1.5)image = tf.image.random_hue(image, max_delta=0.2)image = tf.image.random_contrast(image, lower=0.5, ...

python-在Tensorflow中使用BigQueryReader读取数据【代码】

我尝试使用Tensorflow中的BigQueryReader,但实际上并未成功读取数据.这是我的代码:import tensorflow as tf from tensorflow.contrib.cloud.python.ops.bigquery_reader_ops import BigQueryReader import timefeatures = dict(weight_pounds=tf.FixedLenFeature([1], tf.float32),mother_age=tf.FixedLenFeature([1], tf.float32),father_age=tf.FixedLenFeature([1], tf.float32),gestation_weeks=tf.FixedLenFeature([1], tf.f...

python – Tensorflow数据集API中的过采样功能【代码】

我想问一下,当前的数据集API是否允许实现过采样算法?我处理高度不平衡的阶级问题.我当时认为在数据集解析过程中对特定类进行过采样会很好,即在线生成.我已经看到了rejection_resample函数的实现,但是这会删除样本而不是复制它们,并且它减慢了批处理生成(当目标分布与初始分布大不相同时).我想要实现的是:举一个例子,看看它的类概率决定是否复制它.然后调用dataset.shuffle(…)dataset.batch(…)并获取迭代器.最好的(在我看来)方法...

python – tensorflow:使用队列运行器有效地提供eval / train数据【代码】

我正在尝试运行张量流图来训练模型,并使用单独的评估数据集定期评估.训练和评估数据都是使用队列运行器实现的. 我目前的解决方案是在同一个图中创建两个输入,并使用依赖于is_training占位符的tf.cond.我的问题由以下代码突出显示:import tensorflow as tf from tensorflow.models.image.cifar10 import cifar10 from time import timedef get_train_inputs(is_training):return cifar10.inputs(False)def get_eval_inputs(is_trai...

python – 在Tensorflow的数据集API中,如何将一个元素映射到多个元素?【代码】

在张量流数据集管道中,我想定义一个自定义映射函数,它接受一个输入元素(数据样本)并返回多个元素(数据样本). 下面的代码是我的尝试,以及期望的结果. 我无法完全按照tf.data.Dataset().flat_map()上的文档来了解它是否适??用于此处.import tensorflow as tfinput = [10, 20, 30]def my_map_func(i):return [[i, i+1, i+2]] # Fyi [[i], [i+1], [i+2]] throws an exceptionds = tf.data.Dataset.from_tensor_slices(input) ds ...

python3 TensorFlow训练数据集准备 下载一些百度图片 入门级爬虫示例【代码】【图】

从百度图片下载一些图片当做训练集,好久没写爬虫,生疏了。没有任何反爬,随便抓。 网页: 动态加载,往下划会出现更多的图片,一次大概30个。先找到保存每一张图片的json,其对应的url: 打开调试,清空,然后往下划。然后出现: 点击左侧的链接,出现右边的详细信息,对应的就是URL。对这个url做请求即可。以下是代码:# -*- coding: utf-8 -*- # import tensorflow as tf # import os # import numpy as np import reque...

python – Tensorflow:有效地将数据移动/放入GPU【代码】

所以我正在阅读有关从CPU移动数据的更多信息 – > Tensorflow中的GPU,我看到feed_dict仍然很慢:https://github.com/tensorflow/tensorflow/issues/2919 我看到的将Python变量“移动”到GPU的直接选项是:#1. Tensorflow constant a = tf.constant(data, name='a')#2. Tensorflow Variable b = tf.Variable(data, name='b')#3. Tensorflow placeholder c = tf.placeholder(dtype=dtype, shape=[x,y,z ...], name='c')选项#1和#2对于...

python – Tensorflow“知道”何时不将数据放入GPU中?【代码】

我尝试使用tensorboard和ten??sorflow,我做了这个设置:rand = tf.placeholder(dtype=tf.float32) # this will be visualised in tensorboard later on tf.summary.image('random_noise_visualisation', rand,max_outputs=5) merged_summary_op = tf.summary.merge_all() # to me this seems like a helper to # merge all tensorboard related operations然后我评估我的merged_summary_op并为它提供一个非常大的数组,大小约为...

python – tensorflow的AdamOptimizer和GradientDescentOptimizer无法适应简单的数据【代码】

类似的问题:Here 我正在尝试TensorFlow.我生成了可以线性分离的简单数据,并试图将线性方程拟合到它.这是代码.np.random.seed(2010) n = 300 x_data = np.random.random([n, 2]).tolist() y_data = [[1., 0.] if v[0]> 0.5 else [0., 1.] for v in x_data]x = tf.placeholder(tf.float32, [None, 2]) W = tf.Variable(tf.zeros([2, 2])) b = tf.Variable(tf.zeros([2])) y = tf.sigmoid(tf.matmul(x , W) + b)y_ = tf.placeholder...

python – 使用完整数据集进行渐变下降时,TensorFlow权重会增加【代码】

我写了一篇文章深入解释神经网络如何从头开始工作. 为了说明博客文章,我在python using numpy编写了神经网络,并使用TensorFlow编写了一个版本.我在Github上传了代码来说明这个问题,但这不是一个干净的版本. 该网络的目标是根据其三个特征(公里,燃料类型,年龄)预测汽车的价格,这是我从头开始创建的玩具示例. 我从leboncoin.fr检索数据,我的数据集由大约9k辆车组成(仅限BMW系列1).我将数据标准化,使价格介于[0,1]之间,燃料类型采用二...

python – 从谷歌ml-engine(tensorflow)读取桶中的数据【代码】

我在从Google托管的存储桶中读取数据时遇到问题.我有一个桶,包含我需要访问的~1000个文件,保存在(例如) GS://我的桶/数据 使用命令行或其他Google Python客户端中的gsutil,我可以访问存储桶中的数据,但默认情况下,google-cloud-ml-engine不支持导入这些API. 我需要一种方法来访问数据和文件的名称,使用默认的python库(即os)或使用tensorflow.我知道tensorflow在某个地方内置了这个功能,我很难找到 理想情况下,我正在寻找一个命令...

python – 批量培训但是在Tensorflow中测试单个数据项?【代码】

我已经训练了一个批量大小为10的卷积神经网络.但是在测试时,我想分别预测每个数据集的分类而不是分批预测,这给出了错误:Assign requires shapes of both tensors to match. lhs shape= [1,3] rhs shape= [10,3]我理解10指的是batch_size,3指的是我分类的类数. 我们不能使用批次进行培训并单独测试吗? 更新: 培训阶段:batch_size=10 classes=3 #vlimit is some constant : same for training and testing phase X = tf.placehol...

python – 如何在tensorflow中获取张量的数据类型?【代码】

哪个函数用于获取python中tensorflow中张量的数据类型?我需要根据不同的张量定义动态数据类型.解决方法:您可以使用x.dtype获取类型,如下所示:import tensorflow as tf x=tf.constant([1,2]) x.dtype这会打印tf.int32

python – TensorFlow:如何处理图像分割中的空白标记数据?

我想知道如何使用TensorFlow处理图像分割中未标记的图像部分.例如,我的输入是高度*宽度*通道的图像.标签尺寸高度*宽度太大,每个像素都有一个标签. 图像的某些部分是注释的,其他部分则没有.我希望这些部分对梯度计算没有任何影响.此外,我对网络预测这个“无效”标签不感兴趣. 这有标签或功能吗?目前我正在使用tf.nn.sparse_softmax_cross_entropy_with_logits.解决方法:我不是100%熟悉TF.但是,您是否考虑过使用损失的权重参数?看...

python – 转换TensorFlow教程以使用我自己的数据【代码】

这是我上一期问题Converting from Pandas dataframe to TensorFlow tensor object的后续内容 我现在正在进行下一步,需要更多帮助.我正在尝试替换这行代码batch = mnist.train.next_batch(100)替换我自己的数据.我在StackOverflow上找到了这个答案:Where does next_batch in the TensorFlow tutorial batch_xs, batch_ys = mnist.train.next_batch(100) come from?但是我不明白: 1)为什么.next_batch()不适用于我的张量.我是否错误...