yh_cc
|
03e9ca2147
|
修复CWSPipe中无法读取包含<, >的数据的问题https://github.com/fastnlp/fastNLP/issues/258#issue-533768454
|
6 years ago |
yh
|
70d572cb3e
|
Merge branch 'dev0.5.0' of https://github.com/fastnlp/fastNLP into dev0.5.0
|
6 years ago |
yh
|
7e41b9d355
|
1.新增CMRC2018的metric,loss,pipe,loader等; 2. 新增中文Bert的使用教程
|
6 years ago |
Yige Xu
|
209a8fedba
|
Update test_matching.py
|
6 years ago |
Yige Xu
|
da2416a1b8
|
fix test bugs in: 1. use prettytable to print instance; 2. CNXNLI loader and pipe.
|
6 years ago |
Yige Xu
|
ad95707718
|
1. reorganize auto download datasets in io/file_utils.py; 2. add auto download for CNNDM and THUCNews; 3. rename XNLI loader and pipe to CNXNLI*; 4. update documents in some download method.
|
6 years ago |
Yige Xu
|
a4babc04e2
|
1. add summary loader; 2. reorganize code in ExtCNNDMPipe; 3. reorganize test data and code for ExtCNNDMPipe;
|
6 years ago |
ChenXin
|
0a4f17f4ce
|
add test for ModelSaver & ModelLoader
|
6 years ago |
Yige Xu
|
d677ea879a
|
add data and test codes for testing OntoNotes and Conll2003 tasks
|
6 years ago |
Yige Xu
|
452a62baed
|
Merge pull request #224 from brxx122/master
[new] Motified to Fastnlp/io/pipe/summarization.py for Summarization/Baseline
|
6 years ago |
Danqing Wang
|
8affc4a3ff
|
add doc for summarization pipe
|
6 years ago |
Danqing Wang
|
41995683ca
|
add test case for extcnndm
|
6 years ago |
Yige Xu
|
d0a2b032bd
|
fix a bug while testing Quora Dataset
|
6 years ago |
Yige Xu
|
927a3e746d
|
update test codes for testing classification and matching loader and pipe
|
6 years ago |
Yige Xu
|
cccc1bfd57
|
add fitlog and spacy while testing
|
6 years ago |
Yige Xu
|
fccb6d9b1b
|
add __init__.py in test dir to solve file conflicts.
|
6 years ago |
Yige Xu
|
5d1c2a7ac3
|
add test code and data for testing CHN NER and classification loader and pipe
|
6 years ago |
Yige Xu
|
5a2820cd18
|
add test code and data for testing cws loader and pipe
|
6 years ago |
Yige Xu
|
1dfbc0aeff
|
update test code for testing matching loader and pipe
|
6 years ago |
Yige Xu
|
64fc8bc1e5
|
1. update classification and matching loader and pipe; 2. add data and test codes for testing classification and matching loader and pipe.
|
6 years ago |
Yige Xu
|
753327d214
|
fix code style in coreference task and related codes
|
6 years ago |
liuxiaoxiong
|
07bbb79f77
|
Merge pull request #4 from fastnlp/dev0.5.0
Dev0.5.0
|
6 years ago |
xxliu
|
5bbfb92a30
|
代码规范以及修改测试文件路径以匹配github文件路径
|
6 years ago |
xxliu
|
ea5fbc8881
|
增加注释
增加测试文件及测试样例
修改部分变量命名
|
6 years ago |
yh_cc
|
e903db0e70
|
增加中文分类Pipe;使用矩阵加速BertEmbedding部分pool_method;调整部分测试用例名称;修复metric中对warning的误报
|
6 years ago |
Yige Xu
|
b9aa05f6cf
|
add testing codes and data for loader and pipe.
|
6 years ago |
Yige Xu
|
4440801dbf
|
1. update bert.py and fix a bug in bert_embedding to adapt torch 1.2.0; 2. update models/bert.py and add BertForSentenceMatching model, now a BertEmbedding param should be passed to these five models; 3. create a small bert version for testing and modify test/models/test_bert.py; 4. move small glove and word2vec files to data_for_tests/embedding/small_static_embedding dir and fix relevant test codes; 5. delete some __init__.py files in test dir.
|
6 years ago |
xuyige
|
5d8a8c98c6
|
1. delete io/data_loader dir; 2. delete model/enas*; 3. delete legacy dir; 4. delete DateSetLoader and relevant codes; 5. fix a test code error in core/test_dataset.py; 6. delete io.BaseLoader and relevant code.
|
6 years ago |
yh
|
e2232ac39f
|
1.修复Embedding中潜在的寻找路径失败; 2.reproduction中增加分词模型; 3.修改ner模型为最新的pipe版本
|
6 years ago |
yh
|
511f41dda1
|
1. 增加中文NER相关的loader和pipe; 2. 对应修改sequence_labeling的代码; 3.增加部分测试代码
|
6 years ago |
ChenXin
|
1faf4ba2fa
|
delete a out-date test case
|
6 years ago |
yh
|
014e9786c7
|
1. 分类DataSetLoader中的Loader功能Pipe功能; 2. 增加数据集自动下载; 3.修复vocabulary中的bug
|
6 years ago |
xuyige
|
c2d687528e
|
fix bugs and add test codes for: 1. models.snli; 2. core.metrics.extractive_qa; 3. io.data_loader.mnli
|
6 years ago |
xuyige
|
defcaae4bd
|
将test_embed_loader的almost equal范围稍稍调大一些,以防止偶然的测试不通过
|
6 years ago |
xuyige
|
bedb792b3c
|
将test_embed_loader的almost equal范围稍稍调大一些,以防止偶然的测试不通过
|
6 years ago |
xuyige
|
2eba991660
|
fix matching DataLoader test code
|
6 years ago |
xuyige
|
7d07b38e0a
|
fix bug in matching DataLoader
|
6 years ago |
xuyige
|
a83cee0fbb
|
fix bug in load dataset test code
|
6 years ago |
xuyige
|
66a7cf084e
|
fix bug in test
|
6 years ago |
xuyige
|
089009f9f2
|
大幅度更新:
1、更新requirements以及README.md
2、更新DataLoader
3、更新loss
4、更新model/bert.py内容及适配的测试代码
5、更新reproduction/README.md
6、修复其他测试代码的报错的地方
|
6 years ago |
Violet Yao
|
74925f8237
|
wrong folder
|
6 years ago |
Violet Yao
|
d17acd0cb1
|
remove ast
|
6 years ago |
yunfan
|
eddb8af45c
|
add sst loader tests
|
6 years ago |
ChenXin
|
881ce01762
|
Dev0.4.0 (#149)
* 1. CRF增加支持bmeso类型的tag 2. vocabulary中增加注释
* BucketSampler增加一条错误检测
* 1.修改ClipGradientCallback的bug;删除LRSchedulerCallback中的print,之后应该传入pbar进行打印;2.增加MLP注释
* update MLP module
* 增加metric注释;修改trainer save过程中的bug
* Update README.md
fix tutorial link
* Add ENAS (Efficient Neural Architecture Search)
* add ignore_type in DataSet.add_field
* * AutoPadder will not pad when dtype is None
* add ignore_type in DataSet.apply
* 修复fieldarray中padder潜在bug
* 修复crf中typo; 以及可能导致数值不稳定的地方
* 修复CRF中可能存在的bug
* change two default init arguments of Trainer into None
* Changes to Callbacks:
* 给callback添加给定几个只读属性
* 通过manager设置这些属性
* 代码优化,减轻@transfer的负担
* * 将enas相关代码放到automl目录下
* 修复fast_param_mapping的一个bug
* Trainer添加自动创建save目录
* Vocabulary的打印,显示内容
* * 给vocabulary添加遍历方法
* 修复CRF为负数的bug
* add SQuAD metric
* add sigmoid activate function in MLP
* - add star transformer model
- add ConllLoader, for all kinds of conll-format files
- add JsonLoader, for json-format files
- add SSTLoader, for SST-2 & SST-5
- change Callback interface
- fix batch multi-process when killed
- add README to list models and their performance
* - fix test
* - fix callback & tests
* - update README
* 修改部分bug;调整callback
* 准备发布0.4.0版本“
* update readme
* support parallel loss
* 防止多卡的情况导致无法正确计算loss“
* update advance_tutorial jupyter notebook
* 1. 在embedding_loader中增加新的读取函数load_with_vocab(), load_without_vocab, 比之前的函数改变主要在(1)不再需要传入embed_dim(2)自动判断当前是word2vec还是glove.
2. vocabulary增加from_dataset(), index_dataset()函数。避免需要多行写index dataset的问题。
3. 在utils中新增一个cache_result()修饰器,用于cache函数的返回值。
4. callback中新增update_every属性
* 1.DataSet.apply()报错时提供错误的index
2.Vocabulary.from_dataset(), index_dataset()提供报错时的vocab顺序
3.embedloader在embed读取时遇到不规则的数据跳过这一行.
* update attention
* doc tools
* fix some doc errors
* 修改为中文注释,增加viterbi解码方法
* 样例版本
* - add pad sequence for lstm
- add csv, conll, json filereader
- update dataloader
- remove useless dataloader
- fix trainer loss print
- fix tests
* - fix test_tutorial
* 注释增加
* 测试文档
* 本地暂存
* 本地暂存
* 修改文档的顺序
* - add document
* 本地暂存
* update pooling
* update bert
* update documents in MLP
* update documents in snli
* combine self attention module to attention.py
* update documents on losses.py
* 对DataSet的文档进行更新
* update documents on metrics
* 1. 删除了LSTM中print的内容; 2. 将Trainer和Tester的use_cuda修改为了device; 3.补充Trainer的文档
* 增加对Trainer的注释
* 完善了trainer,callback等的文档; 修改了部分代码的命名以使得代码从文档中隐藏
* update char level encoder
* update documents on embedding.py
* - update doc
* 补充注释,并修改部分代码
* - update doc
- add get_embeddings
* 修改了文档配置项
* 修改embedding为init_embed初始化
* 1.增加对Trainer和Tester的多卡支持;
* - add test
- fix jsonloader
* 删除了注释教程
* 给 dataset 增加了get_field_names
* 修复bug
* - add Const
- fix bugs
* 修改部分注释
* - add model runner for easier test models
- add model tests
* 修改了 docs 的配置和架构
* 修改了核心部分的一大部分文档,TODO:
1. 完善 trainer 和 tester 部分的文档
2. 研究注释样例与测试
* core部分的注释基本检查完成
* 修改了 io 部分的注释
* 全部改为相对路径引用
* 全部改为相对路径引用
* small change
* 1. 从安装文件中删除api/automl的安装
2. metric中存在seq_len的bug
3. sampler中存在命名错误,已修改
* 修复 bug :兼容 cpu 版本的 PyTorch
TODO:其它地方可能也存在类似的 bug
* 修改文档中的引用部分
* 把 tqdm.autonotebook 换成tqdm.auto
* - fix batch & vocab
* 上传了文档文件 *.rst
* 上传了文档文件和若干 TODO
* 讨论并整合了若干模块
* core部分的测试和一些小修改
* 删除了一些冗余文档
* update init files
* update const files
* update const files
* 增加cnn的测试
* fix a little bug
* - update attention
- fix tests
* 完善测试
* 完成快速入门教程
* 修改了sequence_modeling 命名为 sequence_labeling 的文档
* 重新 apidoc 解决改名的遗留问题
* 修改文档格式
* 统一不同位置的seq_len_to_mask, 现统一到core.utils.seq_len_to_mask
* 增加了一行提示
* 在文档中展示 dataset_loader
* 提示 Dataset.read_csv 会被 CSVLoader 替换
* 完成 Callback 和 Trainer 之间的文档
* index更新了部分
* 删除冗余的print
* 删除用于分词的metric,因为有可能引起错误
* 修改文档中的中文名称
* 完成了详细介绍文档
* tutorial 的 ipynb 文件
* 修改了一些介绍文档
* 修改了 models 和 modules 的主页介绍
* 加上了 titlesonly 这个设置
* 修改了模块文档展示的标题
* 修改了 core 和 io 的开篇介绍
* 修改了 modules 和 models 开篇介绍
* 使用 .. todo:: 隐藏了可能被抽到文档中的 TODO 注释
* 修改了一些注释
* delete an old metric in test
* 修改 tutorials 的测试文件
* 把暂不发布的功能移到 legacy 文件夹
* 删除了不能运行的测试
* 修改 callback 的测试文件
* 删除了过时的教程和测试文件
* cache_results 参数的修改
* 修改 io 的测试文件; 删除了一些过时的测试
* 修复bug
* 修复无法通过test_utils.py的测试
* 修复与pytorch1.1中的padsequence的兼容问题; 修改Trainer的pbar
* 1. 修复metric中的bug; 2.增加metric测试
* add model summary
* 增加别名
* 删除encoder中的嵌套层
* 修改了 core 部分 import 的顺序,__all__ 暴露的内容
* 修改了 models 部分 import 的顺序,__all__ 暴露的内容
* 修改了文件名
* 修改了 modules 模块的__all__ 和 import
* fix var runn
* 增加vocab的clear方法
* 一些符合 PEP8 的微调
* 更新了cache_results的例子
* 1. 对callback中indices潜在None作出提示;2.DataSet支持通过List进行index
* 修改了一个typo
* 修改了 README.md
* update documents on bert
* update documents on encoder/bert
* 增加一个fitlog callback,实现与fitlog实验记录
* typo
* - update dataset_loader
* 增加了到 fitlog 文档的链接。
* 增加了 DataSet Loader 的文档
* - add star-transformer reproduction
|
6 years ago |
FengZiYjun
|
986541139a
|
整理所有dataset loader,建立单元测试
|
7 years ago |
FengZiYjun
|
5d8f6960a7
|
* fix README figure
* refine code style
|
7 years ago |
hazelnutsgz
|
5f4ab131ac
|
Add a loader for conll2003 dataset
|
7 years ago |
FengZiYjun
|
27e9453d19
|
* fix processor.py
* add code comments
* merge *_saver.py & *_loader.py in io/
* (ancient codes) rename Loss into LossFromTorch
|
7 years ago |
FengZiYjun
|
f62060339e
|
All tests pass. Ready to merge.
* 更新Loss的接口形参跟metric保持一致
* 添加对几种loss的测试
* embed_loader采用维度独立的方法采样
* 对应测试代码的修改
|
7 years ago |
FengZiYjun
|
cc440b5ed6
|
All tests pass.
* 更新测试代码,跑通所有测试,覆盖率65%
* refine代码规范和某些注释
* fix tester self.use_cuda未赋值先使用的bug
* 添加tutorial样例数据——tutorial_sample_dataset.csv
* 【unsolved】embed_loader在计算np.cov时遇到segmentation fault
|
7 years ago |