Формирование и отправка отчетности по FATCA через IDES

[Ardnas]

Bkmz,

Проверьте входной файл-шаблон.
Правильно отформатированный файл-шаблон (envelop.00.TA.124_Payload.xml) был ранее в этой ветке любезно предоставлен ost во вложении: set_of_files.zip.

[Bkmz]

[QUOTE=Chaxliy;3232052]Всем привет.
Задали вопросы по поводу того, как мы подписывали файл - не гарантирую, что у нас правильно, но других вариантов я не вижу.
В xml-файл вставляем шаблон для подписи, вставляю между предпоследней() и последней() строками.
Шаблон следующий:




















После этого, копирую xml файл в папку с xmlsec библиотекой, и запускаю следующий батник:
xmlsec --sign --privkey-pem privkey.pem,cert.pem --output file_signed.xml file.xml
pause

где cert.pem наш SSL сертификат(который мы еще загружаем в IDES), а privkey.pem - соответствующий закрытый ключ.

После этого, в конечном xml файле file_signed.xm прописываются все значения в соответствующие поля.


QUOTE]

Ost,
Пришлите, пожалуйста, тестовые файлы file_signed.xml file.xml я не могу разобраться как они должны выглядеть, какой из них содержит оригинальный файл без шаблона, какой содержит шаблон. т.е.
файл file.xml содержит в себе просто xml файл с отчетом без шаблона
А файл file_signed.xml уже содержит в себе шаблон и исходные данных xml, еще до запуска батника.
А после запуска батника в файл file_signed.xml дописываются значения хэша и подписи?

[Bkmz]

Ardnas, Ost,
Спасибо, Нашел файлы в теме, сейчас проверяю

[Ardnas]

Rastr,

Сначала мне коллеги помогли выташить публ. ключ из сертификата irs (это одноразовая операция)

openssl x509 -inform der -in encryption-service_services_irs_gov.cer -out encryption-service_services_irs_gov.pem

openssl x509 -in encryption-service_services_irs_gov.pem -pubkey -out encryption-service_services_irs_gov.txt >> encryption-service_services_irs_gov.pub

А затем с помощью OpenSSL создаем ключ и следующей команодо шифруем

openssl.exe rand -out BANK_FATCA_Key 32

openssl.exe rsautl -encrypt -pkcs -pubin -inkey encryption-service_services_irs_gov.pub -in BANK_FATCA_Key -out 000000.00000.TA.840_Key

[Масловский Борис]

Да, это проходит, потому что для ECB не нужен initialization vector (IV)

Для шифрования соответственно: openssl enc -e -aes-256-ecb -nosalt ...

ключ в шестнадцатеричном виде через -K

Подскажите, пожалуйста, как правильно шифровать сессионный ключ? файл для шифрования - дамп hex или в другом виде? И шифровать на открытом ключе rsi в формате cer (в котором он доступен в открытом виде) или сперва экспортировать в pem или еще во что-нибудь?

[Rastr]

Ну по первым пунктам не подскажу сам пока не понял, но шифровать уже после экспорта в pem в любом случае зашифровать форматом cer у меня не вышло.

[Bkmz]

Пароль к ключу указали?

А xmlsec что говорит?
добавьте ему ключи
--print-debug
print debug information to stdout
--store-references
store and print the result of element processing
just before calculating digest
--store-signatures
store and print the result of processing
just before calculating signature

Пароль спрашивает, но в файл не пишет.

добавил ключи в батник, теперь пароль не спрашивает, ничего не выводит и не сохраняет:
xmlsec --sign --privkey-pem sender.key,sender.pem --output file_signed1.xml file_signed.xml --print-debug --store-references --store-signatures

[Ardnas]

Bkmz,

У нас таким образом подписать получилось

Одноразовые операции:
openssl pkcs12 -in online_com_2015-2017.pfx -nocerts -out online_com_2015-2017.pem -nodes

openssl pkcs12 -in online_com_2015-2017.pfx -out online_com_2015-2017_SSL.pem -nodes

Подпись:
xmlsec --sign --privkey-pem online_com_2015-2017.pem,online_com_2015-2017_SSL.pem --output XXXXXX.99999.SL.643_Payload.xml XXXXXX.99999.SL.643.xml


Где
online_com_2015-2017.pfx - имя файла контейнера с сертификатом и секретным ключом оправителя

XXXXXX.99999.SL.643.xml - имя файла-шаблона

[Bkmz]

Ardnas,
т.е. в вашем примере файл XXXXXX.99999.SL.643_Payload.xml создается после выполнения команды? а в файле XXXXXX.99999.SL.643.xml должен быть xml с шаблоном?

У меня файл не создается.

[Ardnas]

Bkmz,

Да файл XXXXXX.99999.SL.643_Payload.xml (ест. имя файла может быть и другое) должен создаться после выполнения команды.

Проверьте еще системную переменную PATH в ней должен быть путь к каталогу bin.

[Ardnas]

Bkmz,

Да в файле XXXXXX.99999.SL.643.xml - шаблон.

[Bkmz]

Проверил Path, bin прописан.
Использую для тестирования файлы Ost`a, батник такой
xmlsec --sign --privkey-pem sender.key,sender.pem --output signed_payload.xml envelop.00.TA.124_Payload.xml

Где envelop.00.TA.124_Payload.xml файл с шаблоном а файл signed_payload.xml должен создаться со значениями подписи. Правильно?

Батник отрабатывает, спрашивается пароль, но файл в bin не создается. Если добавляю в батник ключи --print-debug --store-references --store-signatures, то он вообще не отрабатывает (сразу закрывается)

Батник с дебагом:
xmlsec --sign --privkey-pem sender.key,sender.pem --output signed_payload.xml envelop.00.TA.124_Payload.xml --print-debug --store-references --store-signatures

[Ardnas]

Bkmz,

Только что проверил все работает. Скорее всего с sender.key,sender.pem что то не так
Попробуйте сперва обработать sender.p12 и для упрощения файлы подкладывайте в bin.

Одноразовые операции (pem файлы оставляем на будущее):

openssl pkcs12 -in sender.p12 -nocerts -out sender.pem -nodes

openssl pkcs12 -in sender.p12 -out sender_SSL.pem -nodes

Подпись

xmlsec --sign --privkey-pem sender.pem,sender_SSL.pem --output signed_payload.xml envelop.00.TA.124_Payload.xml

[lexxis]

Отправили через Upload на сайте https://wwwtest.idesgateway.com сообщение вида 20150211T200731244Z_000000.00000.TA.124.zip в папку Outbox\840 система файл сожрала, но ответа на почту так и не пришло, в папке Inbox/840 тоже пусто. Что делаем не так?

[Bkmz]

Ardnas,
да, проблема была с приватным ключом, исправил, все заработало. Спасибо!

[Rastr]

Попробовал по вашей схеме если класть хмл из тестового архива то отрабатывает если кидаю то что мне сформировали у нас то выдаёт ошибки(Error: failed to parse xml file "1.xml" Error: failed to load template "1.xml" Error: failed to sign file "1.xml"), попробовал сам вставить шапку от тестового варианта тогда отрабатывает. Так и нужно? или я совсем ен в ту степь полез?

[Масловский Борис]

Отправили через Upload на сайте https://wwwtest.idesgateway.com сообщение вида 20150211T200731244Z_000000.00000.TA.124.zip в папку Outbox\840 система файл сожрала, но ответа на почту так и не пришло, в папке Inbox/840 тоже пусто. Что делаем не так?

у нас такая же проблема. не отображаются загруженные файлы, но ответы приходят. Считаем, что это проблемы в работе самого сайта.

[Масловский Борис]

Rastr,

Сначала мне коллеги помогли выташить публ. ключ из сертификата irs (это одноразовая операция)

openssl x509 -inform der -in encryption-service_services_irs_gov.cer -out encryption-service_services_irs_gov.pem

openssl x509 -in encryption-service_services_irs_gov.pem -pubkey -out encryption-service_services_irs_gov.txt >> encryption-service_services_irs_gov.pub

А затем с помощью OpenSSL создаем ключ и следующей команодо шифруем

openssl.exe rand -out BANK_FATCA_Key 32

openssl.exe rsautl -encrypt -pkcs -pubin -inkey encryption-service_services_irs_gov.pub -in BANK_FATCA_Key -out 000000.00000.TA.840_Key

Спасибо! расшифровали наш файл. теперь ошибка с "could not decrypt" сменилась на "could not validate the digital signature on the referenced file". Получается неправильно подписан xml?

[Rastr]

Кстати у кого-нибудь получилось отправить тест без ошибок? Как не отправлял ошибка одна и та же(The IRS could not decompress the referenced file following download from IDES. Please do not submit a request to correct, amend or void any of the records in this file until you receive a notification that this file has been received as valid. For more information on this notification, please see: http://www.irs.gov/Businesses/Corpor...-Notifications) я так понимаю они то ли не могут расшифровать то что я им переслал то ли открыть расшифрованный архив, при том пробовал как через сайт шифровать так и openssl. Ключ я так понимаю надо высылать им тот что сгенерировался а не дамп от него? Кто как делал? Может кто-нибудь подробно расписать?

[Ardnas]

Кстати у кого-нибудь получилось отправить тест без ошибок? Как не отправлял ошибка одна и та же(The IRS could not decompress the referenced file following download from IDES. Please do not submit a request to correct, amend or void any of the records in this file until you receive a notification that this file has been received as valid. For more information on this notification, please see: http://www.irs.gov/Businesses/Corpor...-Notifications) я так понимаю они то ли не могут расшифровать то что я им переслал то ли открыть расшифрованный архив, при том пробовал как через сайт шифровать так и openssl. Ключ я так понимаю надо высылать им тот что сгенерировался а не дамп от него? Кто как делал? Может кто-нибудь подробно расписать?

Проверьте:
Вы ключ который сгенерировался, потом зашифровали на публичном ключе irs ? Мы шифрованный ключ в пакете отсылаем.

[ost]

Пароль спрашивает, но в файл не пишет.

добавил ключи в батник, теперь пароль не спрашивает, ничего не выводит и не сохраняет:
xmlsec --sign --privkey-pem sender.key,sender.pem --output file_signed1.xml file_signed.xml --print-debug --store-references --store-signatures

у вас xmlsec вообще работает?
он если что-то не может сделать, обычно пишет, что ошибка в таком-то модуле, сливаю воду...
если ничего не пишет, то это странно, трейсинг ошибок он выдает полюбому. качайте заново.

[Rastr]

Проверьте:
Вы ключ который сгенерировался, потом зашифровали на публичном ключе irs ? Мы шифрованный ключ в пакете отсылаем.

Ardnas,
Да вот в том-то и дело что делал также. Собственно генерил ключ командой rand потом шифровал этим ключом, при том пробовал даже через сайт шифровать, потом шифровал ключ публичным ключом. в итоге в отсылаемом архиве 3 файла: мета, сам отчёт и ключ. и в итоге всё равно та ошибка...(

[Neumann]

Такой вопрос вчера загрузил сформировавшийся отчет в https://wwwtest.idesgateway.com/
Папочка OUT\840\
После этого файл оттуда удалился и все не ответа ни привета.
Сейчас тестовый стенд уже не доступен.
Вам быстро ответы пришли?

[ost]

Ardnas,
Да вот в том-то и дело что делал также. Собственно генерил ключ командой rand потом шифровал этим ключом, при том пробовал даже через сайт шифровать, потом шифровал ключ публичным ключом. в итоге в отсылаемом архиве 3 файла: мета, сам отчёт и ключ. и в итоге всё равно та ошибка...(

Сами пробовали расшифвовать то, что отправляете?
Возьмите ключи sender и reciever и прогоните у себя процесс в обе стороны.

[Масловский Борис]

Ardnas,
Да вот в том-то и дело что делал также. Собственно генерил ключ командой rand потом шифровал этим ключом, при том пробовал даже через сайт шифровать, потом шифровал ключ публичным ключом. в итоге в отсылаемом архиве 3 файла: мета, сам отчёт и ключ. и в итоге всё равно та ошибка...(

"could not decompress the referenced file" - скорее это проблема с распаковкой архива. или формат не зип или имя архива (а может и файлов внутри) не то какое они ожидают. (названия файлов регламентированы их инструкциями)
Вот описание ошибки декомпрессии:
"This failure occurred either because the file was compressed using an unsupported compression tool/algorithm, one or more files in the transmission are missing compression (not zipped), or because the file became corrupted after compression but before the AES encryption step"

[Масловский Борис]

Вчера вечером добились такого ответа:
"The IRS has determined that the referenced file is in a valid format. At this time individual records have not yet been processed. Further communication will be sent if errors are detected during record processing. This is for information purposes only, and requires no response or action by you."
Насколько я понял, все хорошо расшифровалось, подпись проверилась и к структуре файла претензий нет. Получается тест мы прошли =)

[Rastr]

Сами пробовали расшифвовать то, что отправляете?
Возьмите ключи sender и reciever и прогоните у себя процесс в обе стороны.

Пробовал, смог зашифровать и расшифровать, названия вроде указывал тоже верные GIIN_Payload единственное не был уверен что основному архиву (который UTC_GIIN.zip) присвоил правильно UTC т.к. его ставил из серии 201503121458 (ну к примеру).
Кстати а для тестирования надо было пользовать сертификаты из тестового пакета или те что грузили им на сайт?

[H4mek]

Вчера вечером добились такого ответа:
"The IRS has determined that the referenced file is in a valid format. At this time individual records have not yet been processed. Further communication will be sent if errors are detected during record processing. This is for information purposes only, and requires no response or action by you."
Насколько я понял, все хорошо расшифровалось, подпись проверилась и к структуре файла претензий нет. Получается тест мы прошли =)

Отлично , поделились бы шагами своими? что , куда и как?)

[lexxis]

Такой вопрос вчера загрузил сформировавшийся отчет в https://wwwtest.idesgateway.com/
Папочка OUT\840\
После этого файл оттуда удалился и все не ответа ни привета.
Сейчас тестовый стенд уже не доступен.
Вам быстро ответы пришли?

У нас такая же ерунда, файл системе скормили, но ответа на почту никакого не пришло, пробовали несколько раз - ноль эмоции. Куда писать, кому жаловаться непонятно. Есть у кого-нибудь контакты IRS?

[Масловский Борис]

Кстати а для тестирования надо было пользовать сертификаты из тестового пакета или те что грузили им на сайт?

свой сертификат, который регистрировался у них. и зашифровка боевым сертом irs. Тестовый пакет для того чтобы понимать структуру нужных файлов.