技术标签: 从torch t7模型中取训练数据 风格转换
上一章中,我们已经取出层名,层名和层名之间,是存放参数的空间,这样相当于已经给模型分了层。
我们只要在层间搜索参数就可以了。
第2步:搜索参数
以卷积层为例:
if(startsWith(TorchClassName,"nn.SpatialConvolution"))
{
const char *findstr[] = {
"name", //名称
"dW", "dH", //步长
"kW", "kH", //核宽
"weight", "bias", //权重,偏移
"padW", "padH", //补边(2参数)
"pad_l", "pad_r", "pad_t", "pad_b", //补边(4参数)
"nInputPlane", "nOutputPlane", //输入、输出维度
NULL};
fpos = ftell(m_FilePointer);//记录层开头位置(在文件中)。
for (int i = 0; findstr[i]; i++)
{
fout<<findstr[i]<<":"<<endl;
bool ret=false;
while(!ret){
ret=跳到某字符串位置后(findstr[i]); //注意不要跑到下一层去
if(ret)
ret=readObject(fout);//这里的一些函数可以从OpenCV稍稍修改而来
}
fseek(m_FilePointer, fpos,SEEK_SET);//回到开头位置后再搜索
}
}
上面我们已经把所有参数都保存到一个文件中了。
这里,我们的目的不是拿出所有参数,我们只要拿出卷积层的训练参数 weight,bias,其它在训练前就知道的就不用了
按OpenCV的代码分析几个t7模型,
存放方式分两种,1是统一存放,另1是分别存入
T7存放方式按:数据首址,数据偏移,数据类型
这里就有两种取法,
1。取数据(OpenCV方式)
2。取地址(=数据首址+数据偏移x sizeof(数据类型))
取地址方式应该灵活一点
取数据偏移:
void readTorchTensor(ofstream &fout, int typeTensor,const char * ch_str)
{
int ndims = readInt();
my_readLongRaw(fout, ndims);//读取长原始数据//THFile_readLongRaw
my_readLongRaw(fout, ndims);
int64_t offset = readLong() - 1;
fout<<"偏移:"<<offset<<endl;
if(this_norm_conv==is_conv)
{
if(strcmp(ch_str,"weight")==0)
*file_data_offset.weight_offset =(long)offset;//权重数据偏移 <--这里
else if(strcmp(ch_str,"bias")==0)
*file_data_offset.bias_offset =(long)offset;//偏移数据偏移 <--这里
}
//read Storage
int typeidx = readInt();
//fout<<"typeidx:"<<typeidx<<endl;
assert(typeidx == TYPE_TORCH || (typeidx == TYPE_NIL && ndims == 0));
if (typeidx == TYPE_NIL)
{
return;
}
int indexStorage = readInt();
{
string className = readTorchClassName();
fout<<"className:"<<className<<endl;
int typeStorage = parseStorageType(className);
readTorchStorage(fout, typeStorage);
}
}
取首址和类型:
void my_readDoubleRaw(ofstream &fout, int64_t size)
{
//double data;
fout<<"尺寸:"<<size<<endl;
fout<<"地址:"<<ftell(m_FilePointer)<<endl;
if(this_norm_conv==is_conv)
file_data_offset.data_offset=ftell(m_FilePointer);//数据首址 <--这里
file_data_offset.data_type=sizeof(double);//数据类型 <--这里
// for (int64_t i = size - 1; i >= 0; i--)
// {
// fread(&data, sizeof(double), 1, m_FilePointer);
//fout<<data<<' ';
// }fout<<endl;
}
void my_readFloatRaw(ofstream &fout, int64_t size)
{
//float data;
fout<<"尺寸:"<<size<<endl;
fout<<"地址:"<<ftell(m_FilePointer)<<endl;
if(this_norm_conv==is_conv)
file_data_offset.data_offset=ftell(m_FilePointer);//数据首址 <--这里
if(this_norm_conv==is_norm)
file_InstanceNormalization_data_offset.data_offset=ftell(m_FilePointer);
if(this_norm_conv==is_batchnorm)
file_SpatialBatchNormalization_data_offset.data_offset=ftell(m_FilePointer);
file_data_offset.data_type=sizeof(float);//数据类型 <--这里
// for (int64_t i = size - 1; i >= 0; i--)
// {
// fread(&data, sizeof(float), 1, m_FilePointer);
//fout<<data<<' ';
// }fout<<endl;
}
这些函数都是从OpenCV中抄过来再稍改改, my_ 对应 THFile_
然后组合:
// 还要加上文件位置
if(strcmp(ch_str,"weight")==0)
{
*file_data_offset.weight_offset *= file_data_offset.data_type;//乘 类型 <--这里
*file_data_offset.weight_offset++ += file_data_offset.data_offset;//加 数据首址 <--这里
}
else if(strcmp(ch_str,"bias")==0)
{
*file_data_offset.bias_offset *= file_data_offset.data_offset;
*file_data_offset.bias_offset++ += file_data_offset.data_offset;
}
这里用到地址池:
struct Data位置
{
long data_offset;
long * weight_offset;
long * bias_offset;
int data_type;
//构造函数
Data位置();
};
Data位置::Data位置()
{
data_offset=0;
weight_offset=NULL;
bias_offset=NULL;
data_type=0;
}
Data位置 file_data_offset;
使用时用:
long *weight_offset=new long[2+2+4+1 ];
long *bias_offset=new long[2+2+4+1 ];
string pathname ="D:/3D/cv33/cv33/AdaIN-style-master/models/";
string torch_model_name ="vgg_normalised.t7";
//decoder-content-similar 解码器颜色和内容相似
//decoder
pathname += torch_model_name;
loadModel_data_offset(pathname,weight_offset,bias_offset);
loadModel_data_offset函数:
void loadModel_data_offset(string torch_model_name,long * weight_offset,long * bias_offset)
{
file_data_offset.weight_offset=weight_offset;
file_data_offset.bias_offset=bias_offset;
readModel(torch_model_name);
}
这样就已经从t7模型取出训练数据了。
文章浏览阅读5.1k次,点赞3次,收藏26次。写了很久的语音呼叫功能、调用在线语音合成的调用系统自带的;现在客户又要求搞网页版的语音呼叫还是不带联网的。客户太难伺候了详细使用请参考 【web语音API】完整代码<!DOCTYPE><html xmlns="http://www.w3.org/1999/xhtml" lang="zh-CN"><head><title>网页文字转语音</title><meta http-equiv="Content-Typ._js tts
文章浏览阅读62次。System.out.println("100个和尚吃了100个馒头 ,100和尚有大和尚和小和尚,一个大和尚能吃3馒头,三个小和尚吃1个馒头,问大和尚和小和尚有多少个?System.out.println("大和尚有"+i+"个人");System.out.println("小和尚有"+j+"个人");System.out.println("查看答案请按回车键");
文章浏览阅读651次。在vscode中是用模块化的时候会出现报错,提示如下Access to script at ‘file:///F:/%E5%AD%A6%E4%B9%A0/%E7%BA%BF%E4%B8%8BJS/test/js./modul.js’ from origin ‘null’ has been blocked by CORS policy: Cross origin requests are only supported for protocol schemes: http, data, chrome, ch_indesssss.html:1 access to script at 'file:///i:/vscode/cheshi/tesss.js' fro
文章浏览阅读218次。为什么80%的码农都做不了架构师?>>> ..._h3c virtual converged framework切片
文章浏览阅读1.9w次,点赞44次,收藏268次。AndroidIOSHarmonyOS (鸿蒙)文档概览-HarmonyOS应用开发官网2.1.1 系统的定位搭载该操作系统的设备在系统层⾯融为⼀体、形成超级终端,让设备的硬件能⼒可以弹性 扩展,实现设备之间 硬件互助,资源共享。对消费者⽽⾔,HarmonyOS能够将⽣活场景中的各类终端进⾏能⼒整合,实现不同终端 设备之间的快速连接、能⼒互助、资源共享,匹配合适的设备、提供流畅的全场景体验。⾯向开发者,实现⼀次开发,多端部署。_鸿蒙移动应用开发
文章浏览阅读2.8k次。AndroidStudio 升级到 4.2.2 版本后,没有代码高亮了,很蛋疼。解决办法是:点开上方的 File,先勾选 Power Save Mode 再取消就可以了。_android studio 高亮
文章浏览阅读47次。定义:允许将对象组成树形结构来表现 “整体/部分” 层次结构。组合能让客户以一致的方式处理个别对象及对象组合。说白了,就是类似于树形结构。 只是它要求子节点和父节点都具备统一的接口。类图如下:示例如下:比如我们常见的电脑上的目录,目录下面有文件夹,也有文件,然后文件夹里面还有文件及文件夹。这样一层层形成了树形结构。示例代码如下:#include <iostream>#include <stdio.h>#include "string"#includ..
文章浏览阅读1.9w次,点赞26次,收藏185次。目录一.请简述下什么是kotlin?它有什么特性?二.Kotlin 中注解 @JvmOverloads 的作用?三.Kotlin中的MutableList与List有什么区别?四.kotlin实现单例的几种方式?五. kotlin中关键字data的理解?相对于普通的类有哪些特点?六.什么是委托属性?简单说一下应用场景?七.kotlin中with、run、apply、let函数的区别?一般用于什么场景?八.kotlin中Unit的应用以及和Java中void的区别?九.Ko_kotlin面试题
文章浏览阅读2.8k次。有这个想法一方面是确实很多时候会记不得一些缩写是什么意思。另外也是受 http://blog.csdn.net/lin453701006/article/details/52797415这篇博客的启发,本文主要用于自己记忆 内容主要整理自http://blog.sina.com.cn/s/blog_520811730101hmj9.html http://blog.csdn.net/feix_反量化 英文缩写
文章浏览阅读7.3k次,点赞6次,收藏36次。超级简单的Python爬虫入门教程(非常详细),通俗易懂,看一遍就会了_爬虫python入门
文章浏览阅读1.2k次。您的代码存在一些问题。首先,您在此处显示的两个模型是not等效的:尽管您将scikit-learn LogisticRegression设置为fit_intercept=True(这是默认设置),但您并没有这样做statsmodels一;来自statsmodels docs:默认情况下不包括拦截器,用户应添加。参见statsmodels.tools.add_constant。另一个问题是,尽管您处..._sm fit(method
文章浏览阅读518次。一、sfml官网下载32位的版本 一样的设置,64位的版本我没有成功,用不了。二、三、四以下这些内容拷贝过去:sfml-graphics-d.libsfml-window-d.libsfml-system-d.libsfml-audio-d.lib..._vsllfqm