Отговори на тема  [ 50 мнения ]  Отиди на страница Предишна  1, 2, 3, 4  Следваща
Mosquitto и... облаци 
Автор Съобщение
Ранг: Форумен бог
Ранг: Форумен бог
Аватар

Регистриран на: Сря Апр 27, 2005 11:48 am
Мнения: 4671
Мнение Re: Mosquitto и... облаци
тръгна и линукса//ubuntu// :)
онова дето реве питона е че не се изпълнява на локалхоста


Прикачени файлове:
ubuntu.jpg
ubuntu.jpg [ 532.68 KiB | Прегледано 5039 пъти ]

_________________
main[-1u]={1};
Сря Фев 21, 2018 3:44 pm
Профил ICQ
Ранг: Форумен бог
Ранг: Форумен бог
Аватар

Регистриран на: Вто Юли 31, 2007 1:55 pm
Мнения: 1792
Местоположение: София
Мнение Re: Mosquitto и... облаци
palavrov написа:
... сървъра е EspressoBin (заради 3-те гигабитови етернет порта) но ще го сменяме, че се оказа скопен и въпреки, че има 3 гигабитови порта не може да се докара трафик повече от 1гб сумарно ...

Тук привлече вниманието на ДедоБоре, само да го види.


Сря Фев 21, 2018 6:20 pm
Профил
Ранг: Форумен бог
Ранг: Форумен бог

Регистриран на: Вто Окт 11, 2011 10:53 pm
Мнения: 4174
Местоположение: Brussels / Пловдив
Мнение Re: Mosquitto и... облаци
Espresso-то е много забавна платчица - като за $50 е пушка ... само дето е кофти скопена. Наследникът и Macchiato е по читав но пък е $300-$400 а отидем ли в този ценови сегмент ни е по изгодно да сложим направо нещо с х86, че да го ползваме за Cuda, OpenCV и т.н. благинки по нататък. Това са линковете към съответните платки:
http://espressobin.net/
http://macchiatobin.net/

и още една платка я умувахме но и тя просто отива в ценовия сегмент на х86:

https://omnia.turris.cz/en/

Между другото макиатото хич не е зле с тези 10гб етернети и може по нататък да взема едно да си поиграя - ама ще трябва да слагам на суичовете някакви 10гб sfp плъгини, така теоретично поне ще мяткам по гигабайт в секунда - но за това ще трябва да сменя малинките с нещо с гигабитов етернет - подочух, че малинка4 щяла да е с гигабитов порт и хардуерен х265 енкодер та може и да не я сменим ами само да я ъпгрейднем ;) Пък ако и сложат и PoE вече наистина всичко ще си дойде на мястото ... много добре се получава цялата система така - през суичовете спирам тока на малинките като ги усетя, че са забили и си тръгват после на чисто.

_________________
Мразя да мразя ...


Сря Фев 21, 2018 7:18 pm
Профил
Ранг: Форумен бог
Ранг: Форумен бог

Регистриран на: Пон Мар 13, 2006 12:59 pm
Мнения: 3855
Местоположение: Габрово
Мнение Re: Mosquitto и... облаци
Открадна темата на визарда, ама нали на тебе ще се кара...
Това с камерите няма ли да стане по-лесно ако имаш 150 самостоятелни системи, т.е. камери със сторидж, пък бил той и само РАМ за няколко стотин кадъра, и прецизна сихнронизация на времето между тях? Хубаво би било и камерите да могат да се тригерират така че моментите на експозицията да се синхронизирани на примерно +/-20нс.
Като имаш 150 отделни стрийма с прецизно време (общовалидно за всички) би трябвало да е елементарно да "монтираш" блокбъстъра... Това че тегленето няма да е в реално време е ограничение, но ако имаш достатъчно широк канал може да постигнеш точно стрийминг режим и камерите да не спират - а локалното буфериране ще помага ако нещо канала или сървъра се омота.
По повод хардуер, odroid има силни платки и по спомен имат и гигабити. Но то по-важното е дали SoC-а като цяло има силата да захрани тоя гигабит.
По аналогия с видеонаблюдението може да се предположи че има алтернатива - има разни AHD и други стандарти, които по коаксиал или усукана двойка прекарват мисля и 4К видео. Това как би ти помогнало "при посрещането" не мога да преценя. Но Hi-silicon правят интересни добици за такива приложения - имат линукс и сдк, но са платени и срещу NDA. Например http://support.hkvstar.com/file/Hi3536.pdf / https://sourceforge.net/projects/hisi/files/SDK/Hi3536/
Hisilicon са в 96boards и там има техни платки.


Сря Фев 21, 2018 10:33 pm
Профил
Ранг: Форумен бог
Ранг: Форумен бог

Регистриран на: Вто Окт 11, 2011 10:53 pm
Мнения: 4174
Местоположение: Brussels / Пловдив
Мнение Re: Mosquitto и... облаци
Е аз горе долу по темата де - без москито ама пък за много устройства, облаци и ноде ;)

Това с прецизната синхронизация не е много проста работа - отделно гледам със софтуера да улесня хардуера и самото производство та сега закачам всичко само с по един мрежов кабел - и захранване и данни си вървят по него т.е. добавянето на още кабели да пращам сигнали за синхронизиране по тях не е много желателно. Пък на линукс с всичките му тежки драйвери, мрежови стекове, процеси и т.н. не можеш да си сигурен колко време ще мине от приемането на някаква команда през мрежата до обработката и - хубавото е, че имам сравнително широк времеви прозорец и няколко милисекунди разминаване за момента не са проблем.

Малинките сме ги стрипнали от всичко излишно и няма как да им добавям сторидж - каквото събера в гигбайт рам това е - линукс, програма за снимане и кеш за снимки.

За алтернативни платки съм гледал какво ли не и се оказа, че няма кой знае каква алтернатива на малинките. Да е евтина, да има читава камера с хардуерна компресия, да има лесно и безпроблемно доставяне на количества с хиляди и т.н. Одроида например няма порт за камера ами е само по усб, олимекс ни идват скъпи и като говорих с Цецо ми отказа да маха каквото ми е излишно за да свали цената - има си пазар и явно не му се занимава с някой като мен само да му мрънка, че му е скъпо, friendlyarm имат интересни и евтини платки но са само с allwinner т.е. ограничени са до 5мп пък на нас ни трябват повече отделно, че и с драйверите е много неясно и съмнително. Сега на ФОСДЕМ говорих с китаеца на Пине64 и може и да се спазарим да ни пусне една партида с няколко хиляди бройки - но малко ме притеснява да не ударим греда да поръчваме на сляпо без контрол на качеството.

Отделно високоскоростните шини за връзка с камери не обичат много разстояния над 30-50см пък при нас толкова е разстоянието между всеки две камери т.е. няма как да минем с една платка с много портове на нея - отделно, че и излиза по скъпо.

За следващата версия на продукта (ако не сме потънали) мислим да разработваме наш си хардуер и тогава ще го мисля - но още отсега се облизвам за някои Цинкове с хардуерен х265 енкодер, те и нВидия имат интересни модели + още няколко фирми които правят чипове за видеонаблюдение. Като цяло обаче за да се докара цена ще трябва да се адаптира някой масов продукт - или видео наблюдение или машинно зрение (автомобили и т.н.)

И за капак всичко трябва да е готово за вчера и вече няма време за експерименти ...

_________________
Мразя да мразя ...


Сря Фев 21, 2018 11:45 pm
Профил
Ранг: Форумен бог
Ранг: Форумен бог
Аватар

Регистриран на: Сря Апр 27, 2005 11:48 am
Мнения: 4671
Мнение Re: Mosquitto и... облаци
тва ноде участва ли ти в стрима/бързи процеси,
щото наблюдавах HTTP POST на С, питон и ноде и горе долу elapsed time беше следователно 10, 100, 200 мили секунди по локал хоста към един и същ php

питанка: ако пишеш много в бази на такива платки с флашове/кари(филе систем) гаранция да настъпиш мотика (видяно в малинката)

_________________
main[-1u]={1};


Чет Фев 22, 2018 7:08 am
Профил ICQ
Ранг: Форумен бог
Ранг: Форумен бог

Регистриран на: Пон Мар 13, 2006 12:59 pm
Мнения: 3855
Местоположение: Габрово
Мнение Re: Mosquitto и... облаци
palavrov написа:
Това с прецизната синхронизация не е много проста работа...

Аз нямах предвид да пускаш синхронизиращ кабел, а да ползваш IEEE1588. Като добавиш и че ще ти трябва real time linux и се приближаваш до областта на индустриалните контролери (PLC) и комуникации (fieldbus).
Та в тая посока тексасците имат интересни хардуерни решения, но ако можете да скочите на нещо с FPGA най-добре.


Чет Фев 22, 2018 8:51 am
Профил
Ранг: Форумен бог
Ранг: Форумен бог

Регистриран на: Вто Окт 11, 2011 10:53 pm
Мнения: 4174
Местоположение: Brussels / Пловдив
Мнение Re: Mosquitto и... облаци
gicho написа:
... Аз нямах предвид да пускаш синхронизиращ кабел, а да ползваш IEEE1588. Като добавиш и че ще ти трябва real time linux и ...

И двете ги отхвърлих за момента поради тъпотията на камерата - не я знаеш колко време ще се мота. Нямаш гаранция, че в момента в който и кажеш "снимай", тя наистина ще започне да снима а няма да изчака началото на следващия кадър. Т.е. колкото и прецизно да направя всичко останало нямам контрол вътре в самата камера какво точно става - намерихме едни юнаци които са спецове по камерите и сигурно ще ги ползваме за следващият дизайн - но това зависи доколко успешно ще излезем сега на пазара и дали ще има търсене за такава прецизност. Т.е. да има пари да разработим и предложим нещо което да се търси на пазара. Филмовите студия имат бюджет за такива проекти но са прекалено малък пазар пък и вече са зает ... ние се целим в масовия пазар съответно е по важна цената а не толкова техническите възможностти. Става въпрос за сравнително прецизен 3Д скенер за хора - с точност под 1мм. Супер бързина и още по голяма прецизност са добре дошли ако не искат много работа и оскъпяване - така ще можем да навлезем и на нови пазари - медицина, филми и т.н.

_________________
Мразя да мразя ...


Чет Фев 22, 2018 9:53 am
Профил
Ранг: Форумен бог
Ранг: Форумен бог

Регистриран на: Вто Окт 11, 2011 10:53 pm
Мнения: 4174
Местоположение: Brussels / Пловдив
Мнение Re: Mosquitto и... облаци
TheWizard написа:
тва ноде участва ли ти в стрима/бързи процеси,
щото наблюдавах HTTP POST на С, питон и ноде и горе долу elapsed time беше следователно 10, 100, 200 мили секунди по локал хоста към един и същ php

питанка: ако пишеш много в бази на такива платки с флашове/кари(филе систем) гаранция да настъпиш мотика (видяно в малинката)

Ноде-то ми е за бавните процеси и юзер интерфейса. Където трябва ефективност си пиша на чисто Ц - това ми е мантра последните години - Ц за ефективност, за всичко останало ДжабаСкрипт.

На малинките няма флаш, всичко е в паметта като целта е да не се задържа много много защото спре ли тока си заминава. Смятам да сложа един упс който да държи жива системата колкото да се свали всичко на сървъра. За момента база данни ми е самата файлова система - структурирам всичко по папки и имена на файлове и така. По този начин мога да преизползвам всякакви готови туулчета без да пиша всичко наново - примерно на малинките снимките ги записвам в една папка която се шерва с busybox httpd - т.е. цялата работа беше да конфигурирам малинката и да напиша един 2-3 реда в node - предполагам, че ако бях задълбал да ги навирам като blob в sql и/или да ги преточвам на ръка през сокет на Ц щеше да ми отнеме много повече време със силно съмнителна полза. На сървъра за момента пиша на едно САТА ССД което е с пъти по бързо от мрежата така, че няма драма за момента.

_________________
Мразя да мразя ...


Чет Фев 22, 2018 10:03 am
Профил
Ранг: Форумен бог
Ранг: Форумен бог
Аватар

Регистриран на: Нед Ное 21, 2004 10:31 pm
Мнения: 9635
Мнение Re: Mosquitto и... облаци
woody написа:
palavrov написа:
... сървъра е EspressoBin (заради 3-те гигабитови етернет порта) но ще го сменяме, че се оказа скопен и въпреки, че има 3 гигабитови порта не може да се докара трафик повече от 1гб сумарно ...

Тук привлече вниманието на ДедоБоре, само да го види.

размърда ми антенките :wink:

армада 3700 има 3 високоскоростни сердес-а.
можеш да ги закачаш на:
- 2 SGMI (2.5ГБЕ)
- 1 PCIe
- 1 SATA
- 1 USB 3.0
отделно има 1 RGMII, който е до 1GBE
паметта е само 16 бита. първите им контролери не поддържаха fly-by (трябваше да разклочнваш в стил DDR2 T), но в последния актуален документ вече поддържат, така че поне скорост може да се изцеди към паметта. но си остава 'тясна'

на еспресо-бин платката гениите са използвали сердес-овете за PCIe, USB3 и SATA.
сложили са суич 88E6341. това е 6-портв суич с 4 GBE PHY. порто е конфигуриран като RGMII и е закачен на съответния порт на SoC. порт5 е конфигуриран като cross-chip 2.5GBE и е изведен на рейките. замисъла вероятно е бил за каскадиране с сруг подобен сучи за повече портове.

в тази конфигурация няма как да се изцеди повече от гигабит никъде. може би, ако се направи платка за mPCIe, и се рутират сигналите от PCIe към рейките, преконфигурира се PCIe да е SERDES 2.5 SGMII и се забрани RGMII контролера на SoC, суича ще изгрее на ъплинк 2.5GBE, но физическите портове ще си останат на гигабит (толкова си могат). но ми се вижда по-добра идея направо да се сложи 2.5 към 1 GBE суич на mPCIe форм-фактор платка и да се ползва PCIe лайновете като SGMII (не PCIe МАС контролер)

отделно, вътрешния NETA енджин трябва да се подкара в изцеден режим. това е могъща машина, която върши много неща самостоятелно, вхключително виртуални канали, шейпинг, агрегиране. за целта, обаче, трябва контролния софтуер (дравер+юзер спейс) да (1) ги има; (2) да са оптимизирани. има някакъв софтуер от марвел, но е за лануйс (няма поддръжка на pf-стил интерфейс), не съм ги гледал сериозно как са реализирани.

за тези чипове имам ВСИЧКО - пълна документация, включително AMI-IBIS за гигабитните интерфейси и дължините на жичките в чипа. ако ви е опция този чип, може да поговорим, но на лични. пък и да не е точно тоя чип - също :roll:

ПС: може би Рек трябва да форкне темата в "Армада 3700", да не замърсяваме облаците и комарите


Чет Фев 22, 2018 12:13 pm
Профил
Ранг: Форумен бог
Ранг: Форумен бог

Регистриран на: Вто Окт 11, 2011 10:53 pm
Мнения: 4174
Местоположение: Brussels / Пловдив
Мнение Re: Mosquitto и... облаци
Еспресото го избрах заради цената и заради 3-те гигабитови порта като таях надежди, че между армадата и суича са го навързали на 2.5гбита т.е. като трафик щеше да ми свърши работа да свалям паралелно от три 48 портови ПоЕ суича по колкото може. И чукча нали е писател ами не е читател се хвърли смело да пише софтуера вместо да си премери колко реална скорост на трансфер ще успее да докара - само, че остана да ме гложди и изръчках колегите докато ме чакат да се натутя все пак да вземат да го измерят. Като ми казаха резултата се смразих - 20-30мбайта в секунда преточени през мрежата и записани на SSD - иначе етернета успели да го докарат 950мбита - и през ум не ми е минало, че може да насътворят такава глупост със сердес-овете т.е. то не, че е глупост ама на мен не ми пасва.
Отделно сигурно някъде е разконфигуриран линукса, че допълнително да забавя трафика между етернета и ссд-то на сата-та. Диска го измерих, че без проблем докарва 200мбайта/с, етернета 950мбита/с ... абе яд ме е защото за малко няма да ми свърши работа и сега ще трябва да преправям всичко за х86

_________________
Мразя да мразя ...


Чет Фев 22, 2018 12:50 pm
Профил
Ранг: Форумен бог
Ранг: Форумен бог
Аватар

Регистриран на: Нед Ное 21, 2004 10:31 pm
Мнения: 9635
Мнение Re: Mosquitto и... облаци
с каква файлова система е SSD-то?
пусни един тест от /dev/null към файл на SSD на самата платка. нещо не е наред...

гледам платката... ако се разпоят RJ-45 може да се намети mPCIe платчица с 2 куплунга и суич, вързан на 2.5 SGMII, май.
другия вариант е да се ползва синьото USB3 конекторче, пак сменено на SGMII. има и захранване.
обаче и в двата варианта няма MDIO, ще трябва да командориш суича през нета с марвелските пакети или пък през I2C на рейката. което си иска софтуерисване.


Чет Фев 22, 2018 1:09 pm
Профил
Ранг: Форумен бог
Ранг: Форумен бог

Регистриран на: Вто Окт 11, 2011 10:53 pm
Мнения: 4174
Местоположение: Brussels / Пловдив
Мнение Re: Mosquitto и... облаци
ДедоБоре написа:
с каква файлова система е SSD-то?
пусни един тест от /dev/null към файл на SSD на самата платка. нещо не е наред...

гледам платката... ако се разпоят RJ-45 може да се намети mPCIe платчица с 2 куплунга и суич, вързан на 2.5 SGMII, май.
другия вариант е да се ползва синьото USB3 конекторче, пак сменено на SGMII. има и захранване.
обаче и в двата варианта няма MDIO, ще трябва да командориш суича през нета с марвелските пакети или пък през I2C на рейката. което си иска софтуерисване.

Изтествах го със запис на 1гбайт с дд и го записа за 5-6 секунди което ми е ОК:
Код:
dd if=/dev/null of=/mnt/ssd/temp.tmp ...

Но по мрежата като му записах 800мб убунту имидж през scp и се замота минута и половина ...

Това с разпояването няма да мине - тука при нас няма никой достатъчно компетентен да се справи с преправяне на хардуера. Отделно хич не ми се занимава да си говоря и със броадкомския суич, стига ми, че по телнет си приказвам с тп-линк-овете през които вързам малинките.

_________________
Мразя да мразя ...


Чет Фев 22, 2018 1:18 pm
Профил
Ранг: Форумен бог
Ранг: Форумен бог
Аватар

Регистриран на: Нед Ное 21, 2004 10:31 pm
Мнения: 9635
Мнение Re: Mosquitto и... облаци
e, ти злоупотребяваш с това scp... вкарваш неизвестен елемент - OpenSSL.
на тая армада криптоенджина е друг (дескрипторно базиран, стария беше с регистри) и е твърде възможно да не са го подкарали и да правят всичко софтуерно. то и SATA-а вече е AHCI, и нетя е друг, та има сериозна революция по драйверите.
пробвай с просто TFTP, или нещо което не товари протокола. в никакъв случай самба.

GlobalScale правят много странни хардуерни решения със сравнително нормални компоненти. мразя да гледам техни схеми, а хардуера им е още по-китайски. тръпки ме побиват каква лайнукс сглобка са качили. ще взема да я запаля платката.

суича (ще) е марвелски. не би трябвало да има проблем марвелски SoC да се чуе с него. ако варианта ти с тая платка не е потънал съвсем, мога да се огледам от къде тече водата и как се подгрява.


Чет Фев 22, 2018 1:36 pm
Профил
Ранг: Форумен бог
Ранг: Форумен бог

Регистриран на: Вто Окт 11, 2011 10:53 pm
Мнения: 4174
Местоположение: Brussels / Пловдив
Мнение Re: Mosquitto и... облаци
ДедоБоре написа:
e, ти злоупотребяваш с това scp... вкарваш неизвестен елемент - OpenSSL.
на тая армада криптоенджина е друг (дескрипторно базиран, стария беше с регистри) и е твърде възможно да не са го подкарали и да правят всичко софтуерно. то и SATA-а вече е AHCI, и нетя е друг, та има сериозна революция по драйверите.
пробвай с просто TFTP, или нещо което не товари протокола. в никакъв случай самба.

GlobalScale правят много странни хардуерни решения със сравнително нормални компоненти. мразя да гледам техни схеми, а хардуера им е още по-китайски. тръпки ме побиват каква лайнукс сглобка са качили. ще взема да я запаля платката.

суича (ще) е марвелски. не би трябвало да има проблем марвелски SoC да се чуе с него. ако варианта ти с тая платка не е потънал съвсем, мога да се огледам от къде тече водата и как се подгрява.

Замина вече ... иначе за scp си имах едно на ум, че и то забавя ама ме съмнява чак пък 3 пъти да сваля скоростта. Сега приключвам софтуера и скоро ще пробвам през хттп да видя за колко време ще сваля реални снимки - т.е. това ми е истинският тест, всичко друго е по скоро ориентир какво може да се постигне или къде има проблем. Но при всички случаи ще се мигрира към х86 - ще ми останат няколко еспресота да си играя с тях и ако успея по нататък да докарам прилична скорост или пък отпуснем изискването с времето на трансфер да влезнат в употреба. Много добре ми паснаха като начин на работа - качвам им 1 сд карта с всичко на нея и това е целия софтуер на скенера - от него пращам на малинките какво да заредят по тфтп и спестих удоволствието да имат и те сд карти - едно, че се спестиха по няколко евро на малинка ами и само като си представя как някой ще мине да смени на всичките сд картите като трябва да им се прави ъпгрейд на фирмуера лошо ми ставаше. За съжаление скенерите трябва да работят оффлайн та няма как да се ъпгрейдват през облаците - отделно, че това си иска и инфраструктура и досега не съм чул някой да го е направил наистина надеждно.

_________________
Мразя да мразя ...


Чет Фев 22, 2018 2:01 pm
Профил
Покажи мненията от миналия:  Сортирай по  
Отговори на тема   [ 50 мнения ]  Отиди на страница Предишна  1, 2, 3, 4  Следваща

Кой е на линия

Потребители разглеждащи този форум: 0 регистрирани и 2 госта


Вие не можете да пускате нови теми
Вие не можете да отговаряте на теми
Вие не можете да променяте собственото си мнение
Вие не можете да изтривате собствените си мнения
Вие не можете да прикачвате файл

Търсене:
Иди на:  
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group.
Designed by ST Software for PTF.
Хостинг и Домейни